Neurobayesian models 2019
The page is not ready yet!
Lector: Dmitry Vetrov
Tutors: Alexander Grishin, Kirill Struminsky, Dmitry Molchanov, Kirill Neklyudov, Artem Sobolev, Arsenii Ashukha, Oleg Ivanov, Ekaterina Lobacheva.
Contacts: All the questions should be addressed to bayesml@gmail.com. Theme of any letter must contain the following tag: [HSE NBM19]. Letters without the tag will be most probably lost in the inbox.
We also have a chat in Telegram (link to it was sent to the group email). It's main language is Russian, but all the questions in English will be answered in English. All important news will be announced in English in the chat and also sent to the group e-mail.
Содержание
Course description
This course is devoted to Bayesian reasoning in application to deep learning models. Attendees would learn how to use probabilistic modeling to construct neural generative and discriminative models, how to use the paradigm of generative adversarial networks to perform approximate Bayesian inference and how to model the uncertainty about the weights of neural networks. Selected open problems in the field of deep learning would also be discussed. The practical assignments will cover implementation of several modern Bayesian deep learning models.
News
Grading System
The assessment consist of 3 practical assignments and a final oral exam. Practical assignments consist in programming some models/methods from the course in Python and analysing their behavior: VAE, Normalizing flows, Sparse Variational Dropout. At the final exam students have to demonstrate knowledge of the material covered during the entire course.
Final course grade is obtained from the following formula:
О_final = 0,7 * О_cumulative + 0,3 * О_exam,
where О_cumulative is an average grade for the practical assignments.
All grades are in ten-point grading scale. If О_cumulative or О_final has a fractional part greater or equal than 0.5 then it is rounded up.
Assignments
# В рамках курса предполагается выполнение трёх практических заданий. Задания сдаются в системе anytask. Для получения инвайта по курсу просьба писать на почту курса. Интерфейс этой системы, к сожалению, только на русском, поэтому все не русскоязычные студенты могут сдавать задание на почту курса. При этом нужно в теме письма указать ваше имя, фамилию и номер задания. # Все задания сдаются на Python 3. # Задания выполняются самостоятельно. Если задание обсуждалось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны. # Задания оцениваются из 10 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6 баллов.
Each practical assignment has a deadline, a penalty is charged in the amount of 0.3 points for each day of delay, but in total not more than 6 points. Students have to complete all assignments by themselves, plagiarism is strictly prohibited. Some assignments may contain bonus part. Примерные даты выдачи домашних заданий (они могут быть изменены!): TBA
At the end of the module before the exam there will be a hard deadline for all assignments! Exact date will be announced later.
Exam
TBA
Course Plan
| Занятие | Дата | Название | Материалы |
|---|---|---|---|
| 1 | 6, 20 сентября | Лекция и семинар: Байесовский подход к теории вероятностей, примеры байесовских рассуждений. | лекция (презентация), лекция(конспект), лекция (саммари), семинар(задачи), семинар(конспект) |
| 2 | 20, 27 сентября | Лекция и семинар: Аналитический байесовский вывод, сопряжённые распределения, экспоненциальный класс распределений, примеры. | лекция(конспект), семинар(задачи) семинар(конспект) |
| 3 | 27 сентября, 4 октября | Лекция и семинар: Задача выбора модели по Байесу, принцип наибольшей обоснованности, примеры выбора вероятностной модели. | лекция(презентация), лекция(конспект), семинар(задачи), семинар(конспект) |
| 4 | 4, 11 октября | Лекция и семинар: Метод релевантных векторов для задачи регрессии, автоматическое определение значимости. Матричные вычисления. |
лекция(презентация), лекция(конспект), семинар(задачи 1 с разбором), семинар(задачи 2 с разбором) |
| 5 | 11, 18 октября | Лекция и семинар: Метод релевантных векторов для задачи классификации, приближение Лапласа. | лекция(саммари), лекция(конспект), семинар(задачи), семинар(конспект) |
| 6 | 18 октября, 1 ноября | Лекция и семинар: Обучение при скрытых переменных, ЕМ-алгоритм в общем виде, байесовская модель метода главных компонент. | лекция, лекция(конспект), семинар(задачи), семинар(конспект) |
| 7 | 1, 8 ноября | Лекция и семинар: Вариационный подход для приближённого байесовского вывода. | лекция, лекция (саммари), лекция(конспект),(задачи), семинар(конспект) |
| 8 | 8, 15 ноября | Лекция и семинар: Методы Монте-Карло с марковскими цепями (MCMC). | лекция, семинар(задачи) |
| 9 | 15, 22 ноября | Лекция и семинар: Гибридный метод Монте-Карло с марковскими цепями и его масштабируемые обобщения. | Hamiltonian dynamics, Langevin Dynamics, семинар(задачи) |
| 10 | 22, 29 ноября | Лекция и семинар: Гауссовские процессы для регрессии и классификации. | материалы лекции изложены в разделе 6.4 Бишопа, семинар(задачи), семинар(конспект) |
| 11 | 29 ноября, 6 декабря | Лекция и семинар: Модель LDA для тематического моделирования. | лекция, семинар(конспект), Статья по HDP |
| 12 | 13 декабря | Лекция: Стохастический вариационный вывод. Вариационный автокодировщик. | статья 1, статья 2 |
Reading List
- Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ian Goodfellow, Yoshua Bengio & Aaron Courville. Deep Learning. MIT Press, 2016.
Useful links
[The same course in Russian at MSU] (contains more materials in Russian).
BayesGroup page.
