Просмотр исходного текста страницы Генеративные модели в машинном обучении (ИИ 2025)

==О курсе ==
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

{| class="wikitable"
|-
! Группа !! Преподаватели !! Zoom 
|-
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена] || [ Zoom]
|-
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита] || [ Zoom]
|}

{| class="wikitable"
|-
! colspan="4" | Ассистенты
|-
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
|-
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов  Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
|-
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb  Семенов Иван]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

===Расписание базовой группы:===

{| class="wikitable"

|-
 ! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] || 
|-

| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] || 
|-

| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]|| 
|-
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

===Расписание продвинутой группы:===

{| class="wikitable"

|-
 ! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [Лекция] [Семинар]|| [Лекция] [Семинар] || 
|-

| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] || 
|-

| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] || 
|-

| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]|| 
|-
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''9''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''10''' || Генеративно-состязательные сети|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network)|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|-
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
|}

==Формула оценивания ==
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).


== Домашние задания ==

Base / Pro:

1. NLP / ImageGPT - дедлайн 2 октября 23:59

2. GAN&VAE / Glow - дедлайн 18 октября 23:59

3. Diffusion&Flows / GAN&VAE - 9 ноября 23:59

4. MM AR / Diffusion - 23 ноября 23:59

== Теормин и Экзамен ==

Теормин - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.
- Теормин ожидается 1 декабря. 
- Балл за теормин: 0 / 5 / 10.

Экзамен - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме. 
- На экзамен допускаются только те, кто получил полный балл (10) за теормин.
- Экзамен пройдет в сессию 2го модуля.