Байесовские методы машинного обучения 2017
Лектор: Дмитрий Петрович Ветров
Семинаристы: Екатерина Лобачева, Кирилл Неклюдов
Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ФКН БММО17].
Таблица с оценками
Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.
Содержание
Краткое описание
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.
Новости
- На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.
- На странице курса в anytask появилось первое теоретическое задание. Дедлайн по заданию 23:59 30-09-2017.
- На странице курса в anytask появилось второе теоретическое задание. Дедлайн по заданию 23:59 09-10-2017.
- На странице курса в anytask появилась первая лабораторная работа. Дедлайн по заданию 23:59 17-10-2017.
- На странице курса в anytask появилось второе практическое задание. Дедлайн по заданию 23:59 30-10-2017.
- На странице курса в anytask появилось третье теоретическое задание. Дедлайн по заданию 23:59 06-11-2017.
- На странице курса в anytask появилась вторая лабораторная работа. Дедлайн по заданию 23:59 20-11-2017.
- На странице курса в anytask появилась третья лабораторная работа. Дедлайн по заданию 23:59 27-11-2017.
- На странице курса в anytask появилась четвертая лабораторная работа. Дедлайн по заданию 23:59 11-12-2017.
Отчётность по курсу и критерии оценки
В курсе предусмотрено несколько форм контроля знания:
- 2 практических домашних задания
- 3 теоретических домашних задания
- 4 домашних лабораторных работы
- устный экзамен
Результирующая оценка по дисциплине рассчитывается по формуле
O_итог = 0.7 * O_накопл + 0.3 * O_экз
Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле
O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)
Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).
Экзамен
Экзамен состоится 22 декабря в 13:00 для 142 группы и в 15:00 для 141 группы. Мы начнем в 311 аудитории, а потом переедем в 402. 141 группе подходить сразу в 402.
При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. На экзамене дается час на подготовку ответа на билет, после чего вы отвечаете экзаменатору на вопросы из теоретического минимума, рассказываете билет, отвечаете на дополнительные вопросы по курсу и решаете задачи.
Домашние задания
- В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
- Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
- Все практические задания и лабораторные сдаются на Python 3.
- Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
- Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
- Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
- Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.
Расписание занятий
| Занятие | Дата | Название | Материалы |
|---|---|---|---|
| 1 | 7, 11 сентября | Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. | лекция (презентация), лекция (саммари), семинар |
| 2 | 18 сентября | Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. | семинар |
| 3 | 21, 25 сентября | Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. | лекция, семинар |
| 4 | 28 сентября, 2 октября | Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. | |
| 5 | 5, 9 октября | Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. | лекция, семинар |
| 6 | 12, 16 октября | Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. | лекция, семинар |
| 7 | 19, 30 октября | Лекция и семинар: Вариационный подход для приближённого байесовского вывода. | лекция, лекция (саммари), семинар |
| 8 | 2, 6 ноября | Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). | лекция, семинар |
| 9 | 9, 13 ноября | Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. | семинар |
| 10 | 16, 20 ноября | Лекция и семинар: Гауссовские процессы для регрессии и классификации. | семинар |
| 11 | 23, 27 ноября | Лекция и семинар: Процессы Дирихле и непараметрические байесовские модели. | лекция, семинар, paper 1, paper 2 |
| 12 | 30 ноября, 4 декабря | Лекция и семинар: Модель LDA для тематического моделирования. | лекция, Статья по HDP |
| 13 | 14 декабря | Лекция: Стохастический вариационный вывод. Вариационный автокодировщик. | статья 1, статья 2 |
Рекомендуемая литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Полезные ссылки
Сайт одноименного курса, читаемого на ВМК МГУ.
Сайт группы Байесовских методов.
Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений.
Памятка по теории вероятностей.
