Просмотр исходного текста страницы Байесовские методы машинного обучения 2020

'''Лектор:''' [https://www.hse.ru/staff/dvetrov Дмитрий Петрович Ветров]

'''Семинарист:''' [https://www.hse.ru/org/persons/131072080 Екатерина Лобачева]

'''Контакты:''' по всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com'''. В название письма обязательно добавлять '''[ФКН БММО20]'''. Письма без этого тега могут просто не дойти до преподавателей!

У курса есть чат в телеграме. '''Все объявления по курсу будут вывешиваться именно в чате!''' Всем студентам будет отправлена ссылка на него на почту. Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

===Краткое описание===

[[Файл:Bayes.jpeg|400px|безрамки|слева]]
Изучение дисциплины «Байесовские методы машинного обучения» нацелено на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч.

Предполагается, что в результате освоения курса студенты будут способны строить комплексные вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели на компьютере.

=== Новости ===

* 08.09.20 - Выложена формулировка первого практического задания. Стандартный срок сдачи - '''22 сентября 23:00'''.

===Отчётность по курсу и критерии оценки===

В курсе предусмотрено несколько форм контроля знания:
* 2 практических домашних задания
* 3 теоретических домашних задания 
* 4 домашних лабораторных работы 
* устный экзамен

Результирующая оценка по дисциплине рассчитывается по формуле

'''Окончательная оценка = 0.3 * Экз + 0.3 * Практ + 0.4 * ( 3/7 * Теор + 4/7 * Лаб ))'''

Итоговая оценка округляется арифметически. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания. Оценка за экзамен является блокирующей.

===Домашние задания  ===
# В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе [https://anytask.org/course/722 anytask]. Инвайт был разослан на групповые почты. Если вы его не получили, напишите об этом на почту курса. 
# Все практические задания и лабораторные сдаются на Python 3. Код практических заданий должен быть обязательно предварительно сдан в систему [http://ejudge.bayesgroup.ru/cgi-bin/new-client?contest_id=4 ejudge]. Формат логина в ejudge должен быть следующий: hse20_ + первая буква имени + фамилия. Пример: hse20_elobacheva. Конфигурация сервера проверки кода в ejudge: python==3.5.3, numpy==1.14.5, scikit-learn==0.19.2, scipy==1.1.0. 
# Все задания должны выполняться студентами самостоятельно. Использование кода и решений от коллег или из открытых источников запрещено и считается плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), получают 0 баллов за задание, а также все стандартные последствия, подразумеваемые правилами НИУ ВШЭ.
# Для каждого задания устанавливается стандартный и жесткий сроки сдачи. Жесткий срок сдачи обычно отстоит от стандартного на одну неделю. За каждый день просрочки после стандартного срока сдачи устанавливается штраф в 1 балл. После жесткого срока сдачи задания на проверку не принимаются. 

Примерные даты выдачи домашних заданий (они могут быть изменены!):
* Практическая работа -- 8 сентября, 13 октября
* Лабораторная работа -- 29 сентября, 10 ноября, 17 ноября, 24 ноября
* Теоретическое задание -- 15 сентября, 29 сентября, 27 октября

===Экзамен  ===

По курсу проводится устный экзамен. Экзамен является блокирующим, то есть при получении неудовлетворительной оценки за него вы получаете неудовлетворительную оценку за весь курс. [https://docs.google.com/document/d/1GJuPcTwTXc7biCsPornhRhtdWt9ZuIAkJyoKzRgxg54/edit?usp=sharing Примерные билеты к экзамену] (точные будут выложены ближе к концу семестра)

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. На экзамене дается час на подготовку ответа на билет, после чего вы отвечаете экзаменатору на вопросы из теоретического минимума, рассказываете билет, отвечаете на дополнительные вопросы по курсу и решаете задачи.

=== Расписание занятий ===

{| class="wikitable"
|-
! '''Занятие''' !! '''Дата''' !! '''Название''' !! '''Материалы'''
|-
| 1 || 8 сентября || Байесовский подход к теории вероятностей, примеры байесовских рассуждений. || [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_presentation.pdf лекция (презентация)], [https://drive.google.com/open?id=13Q58mRGh5uN8xyhMiTfoOXOYvxUKbvRY лекция(конспект)], [https://bayesgroup.github.io/bmml/2016/Lectures/lecture01_summary.pdf лекция (саммари)], [https://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem1_2016.pdf семинар(задачи)], [https://drive.google.com/open?id=0B7TWwiIrcJstOWMzYUNPaEM3Wjg семинар(конспект)]
|-
| 2 || 15 сентября || Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. || [https://drive.google.com/file/d/1g9cNLw85MchawKbSV7F0nUXyEi9m36sR/view?usp=sharing лекция(конспект)], [http://bayesgroup.github.io/bmml/2016/Seminars/BMML_sem2_2016.pdf семинар(задачи)] [https://drive.google.com/file/d/0B7TWwiIrcJstZHVSUzBBMHZBRlE/view?usp=sharing семинар(конспект)]
|-
| 3 || 22 сентября || Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. || [http://www.machinelearning.ru/wiki/images/b/bd/BMMO11_5.pdf лекция(презентация)], [https://drive.google.com/file/d/1l8fhZQ5V60wZaL9n_YlKNESW1y01PtX2/view?usp=sharing лекция(конспект)], [https://drive.google.com/open?id=0B7TWwiIrcJstZExmM2ZtTFhPMFk семинар(задачи)], [https://drive.google.com/open?id=1m6ofHsx4DZM4wHcBIpxg4aC-kaLcG1Nb семинар(конспект)]
|-
| 4 || 29 сентября|| Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. || 
[https://bayesgroup.github.io/bmml/2016/Lectures/lecture04_presentation.pdf лекция(презентация)], [https://drive.google.com/file/d/1wr6qJCZPZ5W2s4jdJRpoFO_E2J3oPPP1/view?usp=sharing лекция(конспект)], [http://www.machinelearning.ru/wiki/images/2/2a/Matrix-Gauss.pdf семинар(задачи 1 с разбором)], [http://www.machinelearning.ru/wiki/images/1/16/S04_matrix_calculations.pdf семинар(задачи 2 с разбором)], [https://drive.google.com/open?id=1730TeVcjWDroYln8sJhTNqPOYStW890a решения задач с семинара]
|-
| 5 || 6 октября || Метод релевантных векторов для задачи классификации, приближение Лапласа. || [http://www.machinelearning.ru/wiki/images/6/6c/BMMO11_8.pdf лекция(саммари)], [https://drive.google.com/file/d/1cDEShfLPKXSc-OPUXm4nCYZLPvzaBVHg/view?usp=sharing лекция(конспект)], [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016.pdf семинар(задачи)], [https://drive.google.com/file/d/0B7TWwiIrcJstcU1iRi1Ldy1zY0k/view?usp=sharing семинар(конспект)]
|-
| 6 || 13 октября || Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. || [http://www.machinelearning.ru/wiki/images/7/73/BMMO11_11.pdf лекция], [https://drive.google.com/file/d/13bmPc3sJJLgN45j75DqlcBgEzqL2u4Rv/view?usp=sharing лекция(конспект)], [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf семинар(задачи)], [https://drive.google.com/file/d/1vHt8Zul2igQ-rS2lpWjTq43TeYj15dKC/view?usp=sharing семинар(конспект)]
|-
| 7 || 27 октября || Вариационный подход для приближённого байесовского вывода. || [http://www.machinelearning.ru/wiki/images/5/57/BMMO11_9.pdf лекция], [http://www.machinelearning.ru/wiki/images/6/60/BMMO14_variational_lecture.pdf лекция (саммари)], [https://drive.google.com/file/d/18UP8ic6lq1DOOJZlKfGhHr46PJAb6oMY/view?usp=sharing лекция(конспект)],[http://www.machinelearning.ru/wiki/images/8/80/BMML15_S08_variational_inference.pdf (задачи)], [https://drive.google.com/file/d/0B7TWwiIrcJstTEpMUkRSTEk0VDA/view?usp=sharing семинар(конспект)]
|-
| 8 || 3 ноября || Методы Монте-Карло с марковскими цепями (MCMC). || [http://www.machinelearning.ru/wiki/images/6/6b/BMMO11_10.pdf лекция], [http://www.machinelearning.ru/wiki/images/b/b9/BMMO8_2.pdf семинар(задачи)], [https://drive.google.com/open?id=10f48qga9X7CDWg3Xvc-MEKnwoXtejYhN семинар(конспект)]
|-
| 9 || 10 ноября || Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. || [https://arxiv.org/abs/1206.1901 Hamiltonian dynamics], [https://www.ics.uci.edu/~welling/publications/papers/stoclangevin_v6.pdf Langevin Dynamics], [http://www.machinelearning.ru/wiki/images/c/c3/S09_HMC.pdf семинар(задачи)]
|-
| 10 || 17 ноября || Гауссовские процессы для регрессии и классификации. || материалы лекции изложены в разделе 6.4 Бишопа, [http://www.machinelearning.ru/wiki/images/8/81/S11_GP_BMML16.pdf семинар(задачи)], [https://drive.google.com/file/d/1piwFueUpkLkMY2Vi1XWZK4L2-WSnVpEQ/view?usp=sharing семинар(конспект)]
|-
| 11 || 24 ноября || Модель LDA для тематического моделирования. || [http://www.machinelearning.ru/wiki/images/8/82/BMMO11_14.pdf лекция], [https://drive.google.com/file/d/1SZlHTCrPW0x4xSfeSd3EIG-JserQ_VrU/view?usp=sharing семинар(конспект)], [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP]
|-
| 12 || 1 декабря || Стохастический вариационный вывод. Вариационный автокодировщик. || [http://jmlr.org/papers/v14/hoffman13a.html статья 1], [https://arxiv.org/abs/1312.6114 статья 2]
|}

'''Замечание:''' рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности! 

[https://www.youtube.com/playlist?list=PLEqoHzpnmTfCiJpMPccTWXD9DB4ERQkyw Видеозаписи лекций прошлых лет]

[https://drive.google.com/open?id=17vRFsbOS1Jzae_lkNffE2zpZPWABdASP Официальный конспект лекций в процессе] (пока сделано до 2 лекции включительно, будет пополняться)

====Рекомендуемая литература  ====
* Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012.
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
* Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006. 
* Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003. 
* Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244. 
* Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002.

====Полезные ссылки  ====
[http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт] одноименного курса, читаемого на ВМК МГУ. <br />
[http://bayesgroup.ru Сайт] группы Байесовских методов.<br />
Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки] по матричным вычислениям и свойствам гауссовских распределений. <br />
[http://statistics.zone/ Памятка] по теории вероятностей.