Байесовские методы машинного обучения 2017 — различия между версиями
Tipt0p (обсуждение | вклад) (→Экзамен) |
Tipt0p (обсуждение | вклад) (→Расписание занятий) |
||
Строка 39: | Строка 39: | ||
=== Расписание занятий === | === Расписание занятий === | ||
+ | |||
+ | {| class="wikitable" | ||
+ | |- | ||
+ | ! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы''' | ||
+ | |- | ||
+ | | 1 || 7, 11 сентября || Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || - | ||
+ | |- | ||
+ | | 2 || 18 сентября || Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || - | ||
+ | |- | ||
+ | | 3 || 21, 25 сентября || Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || - | ||
+ | |- | ||
+ | | 4 || 28 сентября, 2 октября|| Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || - | ||
+ | |- | ||
+ | | 5 || 5, 9 октября || Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. || - | ||
+ | |- | ||
+ | | 6 || 12, 16 октября || Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || - | ||
+ | |- | ||
+ | | 7 || 2, 6 ноября || Лекция и семинар: Вариационный подход для приближённого байесовского вывода. || - | ||
+ | |- | ||
+ | | 8 || 9, 13 ноября || Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). || - | ||
+ | |- | ||
+ | | 9 || 16, 20 ноября || Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || - | ||
+ | |- | ||
+ | | 10 || 23, 27 ноября || Лекция и семинар: Гауссовские процессы для регрессии и классификации. || - | ||
+ | |- | ||
+ | | 11 || 30 ноября, 4 декабря || Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. || - | ||
+ | |- | ||
+ | | 12 || 7, 11 декабря || Лекция и семинар: Модель LDA для тематического моделирования. || - | ||
+ | |- | ||
+ | | 13 || 14, 18 декабря || Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. || - | ||
+ | |} | ||
====Рекомендуемая литература ==== | ====Рекомендуемая литература ==== |
Версия 00:56, 11 сентября 2017
Лектор: Дмитрий Петрович Ветров
Семинаристы: Екатерина Лобачева, Кирилл Неклюдов
Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ФКН БММО17].
Содержание
Краткое описание
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.
Новости
Отчётность по курсу и критерии оценки
В курсе предусмотрено несколько форм контроля знания:
- 2 практических домашних задания
- 3 теоретических домашних задания
- 4 домашних лабораторных работы
- устный экзамен
Результирующая оценка по дисциплине рассчитывается по формуле
O_итог = 0.7 * O_накопл + 0.3 * O_экз
Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле
O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)
Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). Для каждого задания устанавливается срок сдачи. За каждый день просрочки сдачи практического задания устанавливается штраф 0.3 балла, но суммарно не более 6 баллов (чтобы студенты имели возможность выполнить задание на положительную оценку даже при максимально поздней сдаче). Лабораторные работы и теоретические задания после срока не принимаются.
Экзамен
При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.
Домашние задания
Расписание занятий
Занятие | Дата | Название | Материалы |
---|---|---|---|
1 | 7, 11 сентября | Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. | - |
2 | 18 сентября | Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. | - |
3 | 21, 25 сентября | Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. | - |
4 | 28 сентября, 2 октября | Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. | - |
5 | 5, 9 октября | Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. | - |
6 | 12, 16 октября | Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. | - |
7 | 2, 6 ноября | Лекция и семинар: Вариационный подход для приближённого байесовского вывода. | - |
8 | 9, 13 ноября | Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). | - |
9 | 16, 20 ноября | Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. | - |
10 | 23, 27 ноября | Лекция и семинар: Гауссовские процессы для регрессии и классификации. | - |
11 | 30 ноября, 4 декабря | Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. | - |
12 | 7, 11 декабря | Лекция и семинар: Модель LDA для тематического моделирования. | - |
13 | 14, 18 декабря | Лекция и семинар: Стохастический вариационный вывод. Вариационный автокодировщик. | - |
Рекомендуемая литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Полезные ссылки
Сайт одноименного курса, читаемого на ВМК МГУ.
Сайт группы Байесовских методов.
Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений.
Памятка по теории вероятностей.