Генеративные модели в машинном обучении (ИИ 2025)

Содержание

1 О курсе
2 Материалы курса
- 2.1 Расписание базовой группы:
- 2.2 Расписание продвинутой группы:
3 Формула оценивания
4 Stepik
5 Домашние задания
6 Экзамен

О курсе

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Группа	Преподаватели	Zoom
Базовая	Тихонова Мария, Кантонистова Елена	[ Zoom]
Продвинутая	Тихонова Мария, Карагодин Никита	[ Zoom]

Ассистенты
Уваров Николай	Матвеев Денис
Охотин Даниил
Никифорова Соня-Аня

Материалы курса

Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Расписание базовой группы:

Занятие	Тема	Записи лекций и семинаров	Материалы на гитхабе
1	Задача машинного перевода, механизм внимания, Transformer	[Лекция] [Семинар]	[Лекция] [Семинар]
2	Токенизация, BERT, дообучение трансформерных моделей	[Лекция] [Семинар]	[Лекция] [Семинар]
3	Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение	[Лекция] [Семинар]	[Лекция] [Семинар]
4	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]
5	Нормализующие потоки	[Лекция] [Семинар]	[Лекция] [Семинар]
6	Автокодировщики, вариационные автокодировщики	[Лекция] [Семинар]	[Лекция] [Семинар]
7	Генеративно-состязательные сети, StyleGAN	[Лекция] [Семинар]	[Лекция] [Семинар]
8	Диффузионные модели	[Лекция] [Семинар]	[Лекция] [Семинар]
9	Мультимодальные модели, CLIP, Stable Diffusion	[Лекция] [Семинар]	[Лекция] [Семинар]

Расписание продвинутой группы:

Занятие	Тема	Записи лекций и семинаров	Материалы на гитхабе
1	Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели	[Лекция] [Семинар]	[Лекция] [Семинар]
2	Задача машинного перевода, механизм внимания, Transformer	[Лекция] [Семинар]	[Лекция] [Семинар]
3	Токенизация, BERT, дообучение трансформерных моделей	[Лекция] [Семинар]	[Лекция] [Семинар]
4	Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение	[Лекция] [Семинар]	[Лекция] [Семинар]
5	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]
6	Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow	[Лекция] [Семинар]	[Лекция] [Семинар]
7	Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)	[Лекция] [Семинар]	[Лекция] [Семинар]