Генеративные модели в машинном обучении (ИИ 2025) — различия между версиями
Murrcha (обсуждение | вклад) |
|||
| Строка 79: | Строка 79: | ||
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] || | | style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] || | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow] | + | | style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция] [Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow] |
|- | |- | ||
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] || | | style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция] || | ||
Версия 20:47, 12 ноября 2025
Содержание
О курсе
Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".
| Группа | Преподаватели |
|---|---|
| Базовая | Тихонова Мария, Кантонистова Елена |
| Продвинутая | Тихонова Мария, Карагодин Никита |
| Ассистенты | |||
|---|---|---|---|
| Уваров Николай | Матвеев Денис | Тихонов Даниил | |
| Прудников Николай | Хасенов Ильяс | Саргсян Нарек | |
| Герасимов Борис | Черников Олег | Семенов Иван | |
Материалы курса
Ссылка на плейлист курса на VK: VK-playlist
Ссылка на GitHub с материалами курса: GitHub
Ссылка на stepik: Stepik
Расписание базовой группы:
| Занятие | Тема | Записи лекций и семинаров | Материалы на гитхабе | Дополнительные материалы |
|---|---|---|---|---|
| 1 | Задача машинного перевода, механизм внимания, Transformer | Лекция VK Семинар VK | [Лекция] [Семинар] | |
| 2 | Токенизация, BERT, дообучение трансформерных моделей | Лекция VK [Семинар] | [Лекция] [Семинар] | |
| 3 | Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 4 | Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 5 | Нормализующие потоки | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 6 | Автокодировщики, вариационные автокодировщики | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 7 | Генеративно-состязательные сети, StyleGAN | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 8 | Диффузионные модели | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 9 | Мультимодальные модели, CLIP, Stable Diffusion | [Лекция] [Семинар] | [Лекция] [Семинар] |
Расписание продвинутой группы:
| Занятие | Тема | Записи лекций и семинаров | Материалы на гитхабе | Домашние задания |
|---|---|---|---|---|
| 1 | Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели | Лекция VK Семинар VK | Лекция Семинар | ImageGPT |
| 2 | Задача машинного перевода, механизм внимания, Transformer | Лекция VK Семинар VK | [Лекция] [Семинар] | |
| 3 | Токенизация, BERT, дообучение трансформерных моделей | Лекция VK [Семинар] | [Лекция] [Семинар] | |
| 4 | Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 5 | Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 6 | Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow | Лекция [Семинар] | Лекция Семинар | Glow |
| 7 | Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO) | [Лекция] | Лекция | |
| 8 | Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior | [Лекция] [Семинар] | Лекция Семинар | |
| 9 | Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs | [Лекция] [Семинар] | Лекция [Семинар] | |
| 10 | Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN | [Лекция] [Семинар] | Лекция [Семинар] | |
| 11 | Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 12 | Прямой и обратный диффузионные процессы, диффузия как модель VAE | [Лекция] [Семинар] | [Лекция] [Семинар] | |
| 13 | [Лекция] [Семинар] | [Лекция] [Семинар] |
Формула оценивания
Общая оценка: 𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен
Stepik
В оценку за Stepik идут только следующие модули:
Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
Домашние задания
Инвайты в Anytask
Base Group: WhnrWvK
Pro Group: iYcTpI5
Base / Pro - мягкий дедлайн:
1. NLP / ImageGPT - дедлайн 12 октября 23:59
2. GAN&VAE / Glow - дедлайн 6 ноября 23:59
3. Diffusion&Flows / GAN&VAE - 14 ноября 23:59
4. MM AR / Diffusion - 28 ноября 23:59
Жесткий дедлайн по всем заданиям: 1 декабря 2025*
- Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.
Правила дедлайнов по курсу:
- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла
- после трех недель просрочки штраф 6 баллов и он не увеличивается
- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.
Теормин и Экзамен
Теормин - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.
- Теормин ожидается 1 декабря.
- Балл за теормин: 0 / 5 / 10.
Экзамен - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.
- На экзамен допускаются только те, кто получил полный балл (10) за теормин.
- Экзамен пройдет в сессию 2го модуля.
