Дмитрий Ветров
Национальный исследовательский университет «Высшая школа экономики» и Яндекс

Применение байесовского подхода в задачах глубинного обучения

В настоящее время наблюдается стремительная конвергенция байесовского и нейросетевого подходов к решению задач машинного обучения. Нейронные сети позволяют эффективно приближать нетривиальные апостериорные распределения, являющиеся результатом байесовского вывода. С другой стороны, интерпретация самой нейронной сети как байесовской модели придает сети ряд интересных свойств. В докладе мы рассмотрим, как можно скрещивать нейронные сети и байесовский вывод, а также поговорим о модели вариационного байесовкого дропаута как новом подходе к регуляризации нейронных сетей, позволяющем сжимать популярные нейросетевые архитектуры в сотни раз без потери качества.