Генеративные модели на основе ODE и SDE — различия между версиями
| Строка 7: | Строка 7: | ||
== Лекции == | == Лекции == | ||
| + | |||
| + | === [https://disk.yandex.ru/d/BMKdeMsSPKW4VQ Записи] === | ||
'''Лекция 1.''' Повторение теории вероятностей: условное матожидание, свойства. Теорема о представлении условного матожидания как L2 проекции. Score-функция, применения: поиск моды, семплирование с помощью динамики Ланжевена. Представление score-функции зашумленного распределения как УМО от условной score-функции. Denoising score matching: обучение score-функции регрессией на условную score-функцию. Noise Conditional Score Networks: обобщение на последовательность зашумленных распределений. | '''Лекция 1.''' Повторение теории вероятностей: условное матожидание, свойства. Теорема о представлении условного матожидания как L2 проекции. Score-функция, применения: поиск моды, семплирование с помощью динамики Ланжевена. Представление score-функции зашумленного распределения как УМО от условной score-функции. Denoising score matching: обучение score-функции регрессией на условную score-функцию. Noise Conditional Score Networks: обобщение на последовательность зашумленных распределений. | ||
Версия 17:12, 13 октября 2023
Общая информация
Лектор: Денис Ракитин
Туториал по ODE/SDE моделям, близкий к программе курса
Лекции
Записи
Лекция 1. Повторение теории вероятностей: условное матожидание, свойства. Теорема о представлении условного матожидания как L2 проекции. Score-функция, применения: поиск моды, семплирование с помощью динамики Ланжевена. Представление score-функции зашумленного распределения как УМО от условной score-функции. Denoising score matching: обучение score-функции регрессией на условную score-функцию. Noise Conditional Score Networks: обобщение на последовательность зашумленных распределений.
Статья(NCSN): https://arxiv.org/abs/1907.05600
Лекция 2. Повторение NCSN, визуальная интерпретация выражения score-функции через условную score-функцию. Обыкновенные дифференциальные уравнения (ODE): напоминание, дискретизация по схеме Эйлера. Винеровский процесс: определение, свойства, смысл. Представление Винеровского процесса через предел кусочно-линейного процесса случайного блуждания (Принцип инвариантности Донскера-Прохорова, формулировка). Стохастические дифференциальные уравнения (SDE): неформальное определение дискретизацией по схеме Эйлера(-Маруямы). Эволюция плотности величины, подчиняющейся ODE: уравнение непрерывности.
Лекция 3. Примеры SDE, обобщающих дискретные процессы: процесс Орнштейна-Уленбека (уравнение Ланжевена, Variance Preserving SDE), непрерывная Динамика Ланжевена. Эволюция плотности величины, подчиняющейся SDE: уравнение Фоккера-Планка. Единственность решения уравнения Фоккера-Планка с начальным условием (формулировка). Интерпретация уравнения непрерывности и уравнения Фоккера-Планка: законы сохранения (адаптировано из первой лекции курса УРЧП).
Лекция 4. Построение обратного SDE в 3 этапа: построение эквивалентного ODE, обращение ODE, построение SDE, эквивалентного обратному ODE (эквивалентность понимается в терминах равенства маргинальных распределений). Диффузионные модели на основе обратного SDE, соответствующая схема Эйлера, сравнение с динамикой Ланжевена. Подсчет правдоподобия семпла диффузионной модели, работающей в режиме ODE.
Статья(SDE диффузионные модели): https://arxiv.org/abs/2011.13456
Домашние задания
Вес у всех задач одинаковый, задачи оцениваются из 4 баллов. Если в задачах есть пункты, то 4 балла распределяются равномерно по пунктам.
Сдать можно в classroom: ссылка, инвайт oup7kk4.
- ДЗ №1 - дедлайн 27 октября 23:59.
Правила оценивания
Формула итоговой оценки: Оитог = 0.5 * Одз + 0.3 * Опроект + 0.2 * Оэкз
Формула накопленной оценки: Онакоп = 5/8 * Одз + 3/8 * Опроект
Если Онакоп больше или равна 5.5, ее можно округлить и зачесть за итог.
