Генеративные модели на основе диффузии
Содержание
Общая информация
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.
Занятия проходят по субботам в 13:00-16:00, аудитория будет сообщаться в чате.
Лектор/семинарист: Денис Ракитин
Старый туториал по ODE/SDE моделям, близкий к программе курса
Оценки
Формула итоговой оценки: Оитог = 0.5 * Одз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.
Домашние задания
В курсе будут 4 теоретических и 2 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 10 баллов. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.
Проект
Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Лекции
Лекция 1. Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.
Семинары
Все семинары будут выкладываться здесь.
