Генеративные модели на основе ODE и SDE — различия между версиями
| Строка 13: | Строка 13: | ||
'''Лекция 2.''' Повторение NCSN, визуальная интерпретация выражения score-функции через условную score-функцию. Обыкновенные дифференциальные уравнения (ODE): напоминание, дискретизация по схеме Эйлера. Винеровский процесс: определение, свойства, смысл. Представление Винеровского процесса через предел кусочно-линейного процесса случайного блуждания (Принцип инвариантности Донскера-Прохорова, формулировка). Стохастические дифференциальные уравнения (SDE): неформальное определение дискретизацией по схеме Эйлера(-Маруямы). Эволюция плотности величины, подчиняющейся ODE: уравнение непрерывности. | '''Лекция 2.''' Повторение NCSN, визуальная интерпретация выражения score-функции через условную score-функцию. Обыкновенные дифференциальные уравнения (ODE): напоминание, дискретизация по схеме Эйлера. Винеровский процесс: определение, свойства, смысл. Представление Винеровского процесса через предел кусочно-линейного процесса случайного блуждания (Принцип инвариантности Донскера-Прохорова, формулировка). Стохастические дифференциальные уравнения (SDE): неформальное определение дискретизацией по схеме Эйлера(-Маруямы). Эволюция плотности величины, подчиняющейся ODE: уравнение непрерывности. | ||
| + | |||
| + | '''Лекция 3.''' Примеры SDE, обобщающих дискретные процессы: процесс Орнштейна-Уленбека (уравнение Ланжевена, Variance Preserving SDE), непрерывная Динамика Ланжевена. Эволюция плотности величины, подчиняющейся SDE: уравнение Фоккера-Планка. Единственность решения уравнения Фоккера-Планка с начальным условием (формулировка). Интерпретация уравнения непрерывности и уравнения Фоккера-Планка: законы сохранения (адаптировано из первой лекции курса [http://wiki.cs.hse.ru/Уравнения_с_частными_производными_(2022-2023) УРЧП]). | ||
== Домашние задания == | == Домашние задания == | ||
Версия 16:20, 6 октября 2023
Общая информация
Лектор: Денис Ракитин
Туториал по ODE/SDE моделям, близкий к программе курса
Лекции
Лекция 1. Повторение теории вероятностей: условное матожидание, свойства. Теорема о представлении условного матожидания как L2 проекции. Score-функция, применения: поиск моды, семплирование с помощью динамики Ланжевена. Представление score-функции зашумленного распределения как УМО от условной score-функции. Denoising score matching: обучение score-функции регрессией на условную score-функцию. Noise Conditional Score Networks: обобщение на последовательность зашумленных распределений.
Статья(NCSN): https://arxiv.org/abs/1907.05600
Лекция 2. Повторение NCSN, визуальная интерпретация выражения score-функции через условную score-функцию. Обыкновенные дифференциальные уравнения (ODE): напоминание, дискретизация по схеме Эйлера. Винеровский процесс: определение, свойства, смысл. Представление Винеровского процесса через предел кусочно-линейного процесса случайного блуждания (Принцип инвариантности Донскера-Прохорова, формулировка). Стохастические дифференциальные уравнения (SDE): неформальное определение дискретизацией по схеме Эйлера(-Маруямы). Эволюция плотности величины, подчиняющейся ODE: уравнение непрерывности.
Лекция 3. Примеры SDE, обобщающих дискретные процессы: процесс Орнштейна-Уленбека (уравнение Ланжевена, Variance Preserving SDE), непрерывная Динамика Ланжевена. Эволюция плотности величины, подчиняющейся SDE: уравнение Фоккера-Планка. Единственность решения уравнения Фоккера-Планка с начальным условием (формулировка). Интерпретация уравнения непрерывности и уравнения Фоккера-Планка: законы сохранения (адаптировано из первой лекции курса УРЧП).
Домашние задания
Вес у всех задач одинаковый, задачи оцениваются из 4 баллов. Если в задачах есть пункты, то 4 балла распределяются равномерно по пунктам.
Сдать можно в classroom: ссылка, инвайт oup7kk4.
- ДЗ №1 - дедлайн 27 октября 23:59.
Правила оценивания
Формула итоговой оценки: Оитог = 0.5 * Одз + 0.3 * Опроект + 0.2 * Оэкз
Формула накопленной оценки: Онакоп = 5/8 * Одз + 3/8 * Опроект
Если Онакоп больше или равна 5.5, ее можно округлить и зачесть за итог.
