Генеративные модели на основе ODE и SDE — различия между версиями

Версия 17:25, 5 октября 2023

Общая информация

Лектор: Денис Ракитин

Программа и описание курса

Туториал по ODE/SDE моделям, близкий к программе курса

Лекции

Лекция 1. Повторение теории вероятностей: условное матожидание, свойства. Теорема о представлении условного матожидания как L2 проекции. Score-функция, применения: поиск моды, семплирование с помощью динамики Ланжевена. Представление score-функции зашумленного распределения как УМО от условной score-функции. Denoising score matching: обучение score-функции регрессией на условную score-функцию. Noise Conditional Score Networks: обобщение на последовательность зашумленных распределений.

Статья(NCSN): https://arxiv.org/abs/1907.05600

Лекция 2. Повторение NCSN, визуальная интерпретация выражения score-функции через условную score-функцию. Обыкновенные дифференциальные уравнения (ODE): напоминание, дискретизация по схеме Эйлера. Винеровский процесс: определение, свойства, смысл. Представление Винеровского процесса через предел кусочно-линейного процесса случайного блуждания (Принцип инвариантности Донскера-Прохорова, формулировка). Стохастические дифференциальные уравнения (SDE): неформальное определение дискретизацией по схеме Эйлера(-Маруямы). Эволюция плотности величины, подчиняющейся ODE: уравнение непрерывности.

Домашние задания

Вес у всех задач одинаковый, задачи оцениваются из 4 баллов. Если в задачах есть пункты, то 4 балла распределяются равномерно по пунктам.

Сдать можно в classroom: ссылка, инвайт oup7kk4.

• ДЗ №1 - дедлайн 27 октября 23:59.

Правила оценивания

Формула итоговой оценки: О_итог = 0.5 * О_дз + 0.3 * О_проект + 0.2 * О_экз

Формула накопленной оценки: О_накоп = 5/8 * О_дз + 3/8 * О_проект

Если О_накоп больше или равна 5.5, ее можно округлить и зачесть за итог.