Генеративные модели в машинном обучении (ИИ 2025) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 129: Строка 129:
 
4. MM AR / Diffusion - 23 ноября 23:59
 
4. MM AR / Diffusion - 23 ноября 23:59
  
−
== Экзамен ==
+
== Теормин и Экзамен ==
 +
 
 +
Теормин - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.
 +
- Теормин ожидается 1 декабря.
 +
- Балл за теормин: 0 / 5 / 10.
 +
 
 +
Экзамен - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.
 +
- На экзамен допускаются только те, кто получил полный балл (10) за теормин.
 +
- Экзамен пройдет в сессию 2го модуля.

Версия 20:55, 28 августа 2025

О курсе

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Группа Преподаватели Zoom
Базовая Тихонова Мария, Кантонистова Елена [ Zoom]
Продвинутая Тихонова Мария, Карагодин Никита [ Zoom]
Ассистенты
Уваров Николай Матвеев Денис Тихонов Даниил
Прудников Николай Хасенов Ильяс Саргсян Нарек
Герасимов Борис Черников Олег Семенов Иван

Материалы курса

Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Расписание базовой группы:

Занятие Тема Записи лекций и семинаров Материалы на гитхабе Дополнительные материалы
1 Задача машинного перевода, механизм внимания, Transformer [Лекция] [Семинар] [Лекция] [Семинар]
2 Токенизация, BERT, дообучение трансформерных моделей [Лекция] [Семинар] [Лекция] [Семинар]
3 Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение [Лекция] [Семинар] [Лекция] [Семинар]
4 Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM [Лекция] [Семинар] [Лекция] [Семинар]
5 Нормализующие потоки [Лекция] [Семинар] [Лекция] [Семинар]
6 Автокодировщики, вариационные автокодировщики [Лекция] [Семинар] [Лекция] [Семинар]
7 Генеративно-состязательные сети, StyleGAN [Лекция] [Семинар] [Лекция] [Семинар]
8 Диффузионные модели [Лекция] [Семинар] [Лекция] [Семинар]
9 Мультимодальные модели, CLIP, Stable Diffusion [Лекция] [Семинар] [Лекция] [Семинар]

Расписание продвинутой группы:

Занятие Тема Записи лекций и семинаров Материалы на гитхабе Дополнительные материалы
1 Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели [Лекция] [Семинар] [Лекция] [Семинар]
2 Задача машинного перевода, механизм внимания, Transformer [Лекция] [Семинар] [Лекция] [Семинар]
3 Токенизация, BERT, дообучение трансформерных моделей [Лекция] [Семинар] [Лекция] [Семинар]
4 Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение [Лекция] [Семинар] [Лекция] [Семинар]
5 Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM [Лекция] [Семинар] [Лекция] [Семинар]
6 Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow [Лекция] [Семинар] [Лекция] [Семинар]
7 Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO) [Лекция] [Семинар] [Лекция] [Семинар]
8 Амортизированный вариационный вывод, трюк репараметризации, VAE [Лекция] [Семинар] [Лекция] [Семинар]
9 [Лекция] [Семинар] [Лекция] [Семинар]
10 Генеративно-состязательные сети [Лекция] [Семинар] [Лекция] [Семинар]
11 Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network) [Лекция] [Семинар] [Лекция] [Семинар]
12 Прямой и обратный диффузионные процессы, диффузия как модель VAE [Лекция] [Семинар] [Лекция] [Семинар]
13 [Лекция] [Семинар] [Лекция] [Семинар]

Формула оценивания

Общая оценка: 𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен

Stepik

В оценку за Stepik идут только следующие модули:

Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).


Домашние задания

Base / Pro:

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

Теормин и Экзамен

Теормин - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут. - Теормин ожидается 1 декабря. - Балл за теормин: 0 / 5 / 10.

Экзамен - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме. - На экзамен допускаются только те, кто получил полный балл (10) за теормин. - Экзамен пройдет в сессию 2го модуля.

Источник — «http://wiki.cs.hse.ru/index.php?title=Генеративные_модели_в_машинном_обучении_(ИИ_2025)&oldid=91406»