Генеративные модели в машинном обучении (ИИ 2025)

Содержание

1 О курсе
2 Материалы курса
- 2.1 Расписание базовой группы:
- 2.2 Расписание продвинутой группы:
3 Формула оценивания
4 Stepik
5 Домашние задания
6 Экзамен

О курсе

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Группа	Преподаватели	Zoom
Базовая	Тихонова Мария, Кантонистова Елена	[ Zoom]
Продвинутая	Тихонова Мария, Карагодин Никита	[ Zoom]

Ассистенты
Уваров Николай	Матвеев Денис	Тихонов Даниил
Прудников Николай	Хасенов Ильяс
Герасимов Борис

Материалы курса

Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Расписание базовой группы:

Занятие	Тема	Записи лекций и семинаров	Материалы на гитхабе
1	Задача машинного перевода, механизм внимания, Transformer	[Лекция] [Семинар]	[Лекция] [Семинар]
2	Токенизация, BERT, дообучение трансформерных моделей	[Лекция] [Семинар]	[Лекция] [Семинар]
3	Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение	[Лекция] [Семинар]	[Лекция] [Семинар]
4	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]
5	Нормализующие потоки	[Лекция] [Семинар]	[Лекция] [Семинар]
6	Автокодировщики, вариационные автокодировщики	[Лекция] [Семинар]	[Лекция] [Семинар]
7	Генеративно-состязательные сети, StyleGAN	[Лекция] [Семинар]	[Лекция] [Семинар]
8	Диффузионные модели	[Лекция] [Семинар]	[Лекция] [Семинар]
9	Мультимодальные модели, CLIP, Stable Diffusion	[Лекция] [Семинар]	[Лекция] [Семинар]

Расписание продвинутой группы:

Занятие	Тема	Записи лекций и семинаров	Материалы на гитхабе
1	Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели	[Лекция] [Семинар]	[Лекция] [Семинар]
2	Задача машинного перевода, механизм внимания, Transformer	[Лекция] [Семинар]	[Лекция] [Семинар]
3	Токенизация, BERT, дообучение трансформерных моделей	[Лекция] [Семинар]	[Лекция] [Семинар]
4	Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение	[Лекция] [Семинар]	[Лекция] [Семинар]
5	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]
6	Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow	[Лекция] [Семинар]	[Лекция] [Семинар]
7	Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)	[Лекция] [Семинар]	[Лекция] [Семинар]
8	Амортизированный вариационный вывод, трюк репараметризации, VAE	[Лекция] [Семинар]	[Лекция] [Семинар]
9		[Лекция] [Семинар]	[Лекция] [Семинар]
10	Генеративно-состязательные сети	[Лекция] [Семинар]	[Лекция] [Семинар]
11	Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network)	[Лекция] [Семинар]	[Лекция] [Семинар]
12	Прямой и обратный диффузионные процессы, диффузия как модель VAE	[Лекция] [Семинар]	[Лекция] [Семинар]
13		[Лекция] [Семинар]	[Лекция] [Семинар]