Генеративные модели на основе ODE и SDE

Общая информация

Лектор: Денис Ракитин

Программа и описание курса

Туториал по ODE/SDE моделям, близкий к программе курса

Лекции

Записи

Лекция 1. Повторение теории вероятностей: условное матожидание, свойства. Теорема о представлении условного матожидания как L2 проекции. Score-функция, применения: поиск моды, семплирование с помощью динамики Ланжевена. Представление score-функции зашумленного распределения как УМО от условной score-функции. Denoising score matching: обучение score-функции регрессией на условную score-функцию. Noise Conditional Score Networks: обобщение на последовательность зашумленных распределений.

Статья(NCSN): https://arxiv.org/abs/1907.05600

Лекция 2. Повторение NCSN, визуальная интерпретация выражения score-функции через условную score-функцию. Обыкновенные дифференциальные уравнения (ODE): напоминание, дискретизация по схеме Эйлера. Винеровский процесс: определение, свойства, смысл. Представление Винеровского процесса через предел кусочно-линейного процесса случайного блуждания (Принцип инвариантности Донскера-Прохорова, формулировка). Стохастические дифференциальные уравнения (SDE): неформальное определение дискретизацией по схеме Эйлера(-Маруямы). Эволюция плотности величины, подчиняющейся ODE: уравнение непрерывности.

Лекция 3. Примеры SDE, обобщающих дискретные процессы: процесс Орнштейна-Уленбека (уравнение Ланжевена, Variance Preserving SDE), непрерывная Динамика Ланжевена. Эволюция плотности величины, подчиняющейся SDE: уравнение Фоккера-Планка. Единственность решения уравнения Фоккера-Планка с начальным условием (формулировка). Интерпретация уравнения непрерывности и уравнения Фоккера-Планка: законы сохранения (адаптировано из первой лекции курса УРЧП).

Лекция 4. Построение обратного SDE в 3 этапа: построение эквивалентного ODE, обращение ODE, построение SDE, эквивалентного обратному ODE (эквивалентность понимается в терминах равенства маргинальных распределений). Диффузионные модели на основе обратного SDE, соответствующая схема Эйлера, сравнение с динамикой Ланжевена. Подсчет правдоподобия семпла диффузионной модели, работающей в режиме ODE.

Статья(SDE диффузионные модели): https://arxiv.org/abs/2011.13456

Лекция 5. Оценка следа Хатчинсона для приближения дивергенции, применение в подсчете правдоподобия. Classifier Guidance и Classifier-Free Guidance для условной генерации из диффузионных моделей. Модель Flow Matching: постановка задачи - выучить поле скорости так, чтобы соответствующее ODE породило заданную динамику. Мотивирующий пример: интерполяция между шумом и данными.

Статьи: https://arxiv.org/abs/2105.05233 (описание Classifier Guidance), https://arxiv.org/abs/2207.12598 (Classifier-Free Guidance), https://arxiv.org/abs/2210.02747 (Flow Matching)

Домашние задания

Вес у всех задач одинаковый, задачи оцениваются из 4 баллов. Если в задачах есть пункты, то 4 балла распределяются равномерно по пунктам.

Сдать можно в classroom: ссылка, инвайт oup7kk4.

• ДЗ №1 - дедлайн 30 октября 23:59.

Правила оценивания

Формула итоговой оценки: О_итог = 0.5 * О_дз + 0.3 * О_проект + 0.2 * О_экз

Формула накопленной оценки: О_накоп = 5/8 * О_дз + 3/8 * О_проект

Если О_накоп больше или равна 5.5, ее можно округлить и зачесть за итог.