Байесовские методы машинного обучения 2017 — различия между версиями

Версия 19:48, 13 сентября 2017

Лектор: Дмитрий Петрович Ветров

Семинаристы: Екатерина Лобачева, Кирилл Неклюдов

Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ФКН БММО17].

Краткое описание

Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

Новости

1. На странице курса в anytask (http://anytask.org/course/221) появилось первое практическое задание. Дедлайн по заданию 23:59 25-09-2017.

Отчётность по курсу и критерии оценки

В курсе предусмотрено несколько форм контроля знания:

• 2 практических домашних задания
• 3 теоретических домашних задания
• 4 домашних лабораторных работы
• устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

O_итог = 0.7 * O_накопл + 0.3 * O_экз

Накопленная и итоговая оценки округляются арифметически. Накопленная оценка рассчитывается по формуле

O_накопл = 3/7 * O_практ + 4/49 * (3 * O_теор + 4 * О_лаб)

Эта формула выглядит страшно, но на деле она просто означает, что за практические работы можно заработать 3 балла в итоговую оценку, а за теоретические и лабораторные вместе - 4 балла. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка).

Экзамен

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.

Домашние задания

1. В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Ссылка на курс http://anytask.org/course/221
2. Пароль для курса был выслан всем на почту. Если вы по какой-то причине не получили пароль, напишите об этом на почту курса.
3. Все практические задания и лабораторные сдаются на Python 3.
4. Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
5. Практические задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
6. Теоретические задания и лабораторные работы также оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки. Решения не принимаются к проверке спустя неделю после срока.
7. Первая проверка работ будет осуществляться через неделю после срока сдачи заданий. Присланные позже практические работы будут проверены в конце семестра.

Расписание занятий

Рекомендуемая литература

• Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
• Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
• Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
• Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
• Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
• Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.

Полезные ссылки

Сайт одноименного курса, читаемого на ВМК МГУ.
Сайт группы Байесовских методов.
Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений.
Памятка по теории вероятностей.