Байесовские методы машинного обучения 2017 — различия между версиями
Tipt0p (обсуждение | вклад) (Новая страница: «'''Лектор:''' Дмитрий Петрович Ветров '''Семинарист(ы):''' [https://www.hse.ru/org/persons/131072080 Екатерина Л…») |
Tipt0p (обсуждение | вклад) (→Рекомендуемая литература) |
||
Строка 22: | Строка 22: | ||
====Рекомендуемая литература ==== | ====Рекомендуемая литература ==== | ||
− | * Barber D. | + | * Barber D. [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012. |
* Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012. | * Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012. | ||
− | * Bishop C.M. | + | * Bishop C.M. [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006. |
− | * Mackay D.J.C. | + | * Mackay D.J.C. [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003. |
− | * Tipping M. | + | * Tipping M. [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244. |
− | * Шумский С.А. | + | * Шумский С.А. [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002. |
====Полезные ссылки ==== | ====Полезные ссылки ==== |
Версия 01:48, 10 сентября 2017
Лектор: Дмитрий Петрович Ветров
Семинарист(ы): Екатерина Лобачева, Кирилл Неклюдов
Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ФКН БММО17].
Содержание
Краткое описание
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.
Новости
Отчётность по курсу и критерии оценки
Экзамен
Домашние задания
Расписание занятий
Рекомендуемая литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Полезные ссылки
((http://www.machinelearning.ru/wiki/index.php?title=Bmmo Сайт)) одноименного курса, читаемого на ВМК МГУ.
((http://bayesgroup.ru Сайт)) группы Байесовских методов.
Простые и удобные ((http://cs.nyu.edu/~roweis/notes.html заметки)) по матричным вычислениям и свойствам гауссовских распределений.
((http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка)) по теории вероятностей.