Генеративные модели на основе диффузии — различия между версиями
| Строка 24: | Строка 24: | ||
Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей. | Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей. | ||
| − | == Лекции == | + | == Лекции и семинары == |
| − | [https://disk.yandex.ru/d/xGW19AWc148l0Q Записи лекций и семинаров] | + | [https://disk.yandex.ru/d/xGW19AWc148l0Q Записи лекций и семинаров] |
| + | |||
| + | [https://disk.yandex.ru/d/XLco2cbeCzBwQQ Семинарские задачи] | ||
'''Лекция 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном. | '''Лекция 1.''' Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном. | ||
| − | + | '''Семинар 1.''' Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты. | |
| + | |||
| + | |||
| − | |||
== Материалы прошлых лет == | == Материалы прошлых лет == | ||
Версия 23:25, 20 сентября 2024
Содержание
Общая информация
Курс предназначен для студентов 4 курса ФКН ПМИ, но приглашаются все желающие, уверенно знающие математику младших курсов (в особенности теорию вероятностей), базово ориентирующиеся в глубинном обучении и программировании на PyTorch.
Занятия проходят по субботам в 13:00-16:00, аудитория будет сообщаться в чате.
Лектор/семинарист: Денис Ракитин
Старый туториал по ODE/SDE моделям, близкий к программе курса
Оценки
Формула итоговой оценки: Оитог = 0.5 * Одз + 0.2 * Опроект + 0.3 * Оэкз. Округление арифметическое.
Домашние задания
В курсе будут 4 теоретических и 2 практических домашних задания. Вес у всех задач одинаковый, задачи оцениваются из 10 баллов. Если в задачах есть пункты, то будет подписано количество баллов за каждый пункт, иначе баллы между пунктами делятся поровну.
Проект
Состоит в реализации и проведении экспериментов с одной из рассмотренных на курсе моделей.
Лекции и семинары
Лекция 1. Генеративное моделирование. Семейства генеративных моделей: вариационные автокодировщики (VAEs), генеративно-состязательные сети (GANs), диффузионные модели. Генеративная трилемма: генеративная модель должна обладать высоким качеством генерации, высоким разнообразием и скоростью генерирования. Повтор теории вероятностей: совместная и условная плотность, формула Байеса, подсчет матожиданий через плотности. Условное матожидание (УМО): определение через интеграл условной плотности. Свойства: линейность, формула полного матожидания, вынос функции от условия за УМО, УМО от независимой величины равна безусловному матожиданию. Условное матожидание как наилучшее предсказание в среднеквадратичном.
Семинар 1. Гауссовские векторы/многомерное нормальное распределение. Три эквивалентных определения, формула плотности. Аффинная замена гауссовских векторов, эквивалентность независимости и некоррелированности их компонент, ортогональное разложение, условное распределение компоненты относительно другой компоненты.
