Генеративные модели в машинном обучении (ИИ 2025) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показаны 104 промежуточные версии 2 участников)
Строка 1: Строка 1:
 
==О курсе ==
 
==О курсе ==
−
Курс читается на первом модуле студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].
+
Курс читается в первом семестре студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].
−
 
+
−
Канал и чат курса в ТГ: [https://t.me/+7ZPeMW1hhwkzNjcy Чат]
+
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Группа !! Преподаватели !! Zoom !! Время
+
! Группа !! Преподаватели
 
|-
 
|-
−
| Базовая || [https://t.me/GLBHLB Ершов Глеб] || [https://us06web.zoom.us/j/89645002272?pwd=RuaaVGGOUyY8nbGc7Zk4N2SRG2U6Hf.1 Zoom] || суббота 13:00 + вторник 17.09 18:10
+
| Базовая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/murr4a Кантонистова Елена]  
 
|-
 
|-
−
| Продвинутая || [https://t.me/mikhail_h91 Гущин Михаил] || [https://us06web.zoom.us/j/82024709724?pwd=qf2esH8cmRAGsXIg4a1hfbot7atBX7.1 Zoom] || четверг 18:10 + среда 25.09 18:10
+
| Продвинутая || [https://t.me/mashkka_t Тихонова Мария], [https://t.me/Einstein_30 Карагодин Никита]  
 
|}
 
|}
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Ассистенты
+
! colspan="4" | Ассистенты
 
|-
 
|-
−
| [https://t.me/Savely_Prokhorov Прохоров Савелий]
+
| [https://t.me/htutb Уваров Николай] || [https://t.me/sodeniZz Матвеев Денис] || [https://t.me/perkyfever Тихонов Даниил]
 
|-
 
|-
−
| [https://t.me/danokil Охотин Даниил]
+
| [https://t.me/eiky0u Прудников Николай] || [https://t.me/llllllllllIlIIllIllIIIlllIllI Хасенов  Ильяс] || [https://t.me/kolx0znik Саргсян Нарек]
 
|-
 
|-
−
| [https://t.me/sonya_leaf Никифорова Соня-Аня]
+
| [https://t.me/the_overfeeling Герасимов Борис] || [https://t.me/Oleg_Oleg_Ch Черников Олег] || [https://t.me/brickckirb  Семенов Иван]
 
|}
 
|}
 +
 +
==Материалы курса ==
 +
Ссылка на плейлист курса на VK: [https://vkvideo.ru/playlist/-227011779_46 VK-playlist]
 +
 +
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9 YouTube-playlist]
 +
 +
Ссылка на GitHub с материалами курса: [https://github.com/NickKar30/GM-HSE-AI-masters-course GitHub]
 +
 +
Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]
 +
 +
===Расписание базовой группы:===
  
 
{| class="wikitable"
 
{| class="wikitable"
 +
 
|-
 
|-
−
! Кураторы
+
! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Дополнительные материалы
 
|-
 
|-
−
| [https://t.me/roman_zalesinskii Залесинский Роман]
+
 
 +
| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
 
|-
 
|-
−
| [https://t.me/WhiteShape Зуев Гордей]
 
−
|}
 
  
−
==Материалы курса ==
+
| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
−
Ссылка на плейлист курса на VK: [https://vk.com/video/playlist/-227011779_10 VK-playlist]
+
|-
  
−
Ссылка на GitHub с материалами курса: [https://github.com/hushchyn-mikhail/gen_models_ai_hse GitHub]
+
| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
 +
|-
 +
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
 +
|-
 +
| style="background:#eaecf0;" | '''5''' || Нормализующие потоки || [Лекция] [Семинар] || [Лекция] [Семинар] ||
 +
|-
 +
| style="background:#eaecf0;" | '''6''' || Автокодировщики, вариационные автокодировщики|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
 +
|-
 +
| style="background:#eaecf0;" | '''7''' || Генеративно-состязательные сети, StyleGAN|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
 +
|-
 +
| style="background:#eaecf0;" | '''8''' || Диффузионные модели || [Лекция] [Семинар] || [Лекция] [Семинар] ||
 +
|-
 +
| style="background:#eaecf0;" | '''9''' || Мультимодальные модели, CLIP, Stable Diffusion|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
 +
|}
  
−
Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]
+
===Расписание продвинутой группы:===
  
 
{| class="wikitable"
 
{| class="wikitable"
 +
 
|-
 
|-
−
  ! Занятие !! Тема !! Материалы для самоподготовки к семинарам !! Материалы семинаров !! Дополнительные материалы
+
  ! Занятие !! Тема !! Записи лекций и семинаров !! Материалы на гитхабе !! Домашние задания
 
|-
 
|-
  
−
| style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка], [https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab], [https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart];
+
| style="background:#eaecf0;" | '''1''' || Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели || [https://m.vkvideo.ru/video-227011779_456239487?from=video&t=41m52s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239494?from=video&t=42m58s Семинар VK]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec1_intro.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem1_pixelcnn.ipynb Семинар] || rowspan="5" | [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw1.ipynb ImageGPT]
 
|-
 
|-
  
−
| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab], [https://vk.com/video-227011779_456239041 Запись продвинутая] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.];
+
| style="background:#eaecf0;" | '''2''' || Задача машинного перевода, механизм внимания, Transformer || [https://m.vkvideo.ru/video-227011779_456239488?from=video Лекция VK] [https://m.vkvideo.ru/video-227011779_456239489?from=video&t=7m6s Семинар VK]|| [Лекция] [Семинар] ||
 
|-
 
|-
  
−
| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модули 14.1 и 15.1 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture03-gan.pdf Слайды], [https://vk.com/video-227011779_456239057 Лекция], [https://vk.com/video-227011779_456239059 Семинар], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-3-gans.ipynb Ноутбук]|| [https://www.youtube.com/watch?v=XvnC9B_hNt0 Лекция ПЗАД по GAN] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture01-gan.pdf слайды]; [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html туториал по DCGAN] от torch; [https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf оригинальная статья Яна Гудфеллоу]; [https://neerc.ifmo.ru/wiki/index.php?title=Generative_Adversarial_Nets_(GAN) Wiki ИТМО]; [https://education.yandex.ru/handbook/ml/article/generativno-sostyazatelnye-seti-(gan) глава из учебника Яндекса]  
+
| style="background:#eaecf0;" | '''3''' || Токенизация, BERT, дообучение трансформерных моделей || [https://m.vkvideo.ru/video-227011779_456239498?from=video&t=1h1m7s Лекция VK] [Семинар] || [Лекция] [Семинар] ||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || [https://stepik.org/lesson/1366006 Модули 14 и 15.3 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture04-nf.pdf Слайды], [https://vk.com/video-227011779_456239066 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-4-autoencoders.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239072 Запись семинара] || [https://www.youtube.com/watch?v=aj1U36E_RZE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=3 Лекция ПЗАД по NF] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture02-nf.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/variational-autoencoder-(vae) глава учебника Яндекса про VAE], [https://www.youtube.com/watch?v=x6T1zMSE4Ts обзор] NVAE, [https://github.com/NVlabs/NVAE реализация] NVAE, [https://github.com/NVlabs/NVAE реализация] VAE на Habr; [https://education.yandex.ru/handbook/ml/article/normalizuyushie-potoki глава учебника Яндекса по NF], [https://lilianweng.github.io/posts/2018-10-13-flow-models/ заметки] о различных архитектурах NF, [https://github.com/VincentStimper/normalizing-flows репозиторий] с реализациями архитектур NF
+
 
 +
| style="background:#eaecf0;" | '''4''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||
 +
|-
 +
| style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
 +
|-
 +
| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239512?linked=1 Лекция VK] [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239513?linked=1 Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec2_flows.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem2_flow.ipynb Семинар] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/homeworks/pro/hw2/hw2.ipynb Glow]
 +
|-
 +
| style="background:#eaecf0;" | '''7''' || Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO)|| [https://m.vkvideo.ru/video-227011779_456239540?t=21m48s Лекция]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec3_lvm.pdf Лекция VK] ||
 +
|-
 +
| style="background:#eaecf0;" | '''8''' || Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior|| [https://m.vkvideo.ru/video-227011779_456239552?t=1h9m44s Лекция VK] [https://m.vkvideo.ru/video-227011779_456239554?t=19m46s Семинар VK] || [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec4_vae.pdf Лекция] [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/seminars/pro/sem4_vae.ipynb Семинар] ||
 +
|-
 +
| style="background:#eaecf0;" | '''9''' || Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239577?linked=1 Лекция VK] [https://www.youtube.com/watch?v=7R6Odp_PQck&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=9 Лекция Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec5_vqvae_gans.pdf Лекция]||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239070 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture05-diff.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-5.ipynb Тетрадка с семинара], [https://vk.com/video-227011779_456239088 Запись семинара] || [https://www.youtube.com/watch?v=z7QH-WWHmfE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=4 Лекция ПЗАД по диффузиям] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture03-diffusion.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/diffuzionnye-modeli глава в учебнике Яндекса], [https://huggingface.co/learn/diffusion-course/unit0/1 курс] HuggingFace, [https://lilianweng.github.io/posts/2024-04-12-diffusion-video/ заметки] о генерации видео, [https://habr.com/ru/companies/yandex/articles/839580/ описание] создания e2e модели генерации видео от Яндекса, [https://github.com/diff-usion/Awesome-Diffusion-Models репозиторий] с материалами по диффузиям
+
| style="background:#eaecf0;" | '''10''' || Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN|| [https://m.vkvideo.ru/video-227011779_456239598 Лекция VK] [https://m.vkvideo.ru/video-227011779_456239612?t=50m4s Семинар VK] [https://www.youtube.com/watch?v=OIWZnWtw_Eg&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=7 Лекция Ytb]|| [https://github.com/NickKar30/GM-HSE-AI-masters-course/blob/main/lectures/pro/lec6_gans.pdf Лекция] [Семинар] ||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239085 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture06-multi.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-6.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239100 Запись семинара] || [https://www.youtube.com/watch?v=hH8dcl62XsY&t=2860s&ab_channel=siberai семинар от Сбера] про различные мультимодальные архитектуры, [https://openai.com/index/clip/ статья про CLIP] от OpenAI, [https://huggingface.co/docs/transformers/model_doc/vit туториал по ViT] на HuggingFace
+
| style="background:#eaecf0;" | '''11''' || Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network|| [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239621?linked=1&t=1h15m13s Лекция VK] [https://www.youtube.com/watch?v=O7KdDHsaY5w&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=4 Лекция Ytb]|| [Лекция] [Семинар] ||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || [https://vk.com/video-227011779_456239098 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture07-tts.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar_7.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239129 Запись семинара] || [https://neerc.ifmo.ru/wiki/index.php?title=%D0%A1%D0%B8%D0%BD%D1%82%D0%B5%D0%B7_%D1%80%D0%B5%D1%87%D0%B8 Wiki ИТМО], [https://huggingface.co/learn/audio-course/ru/chapter6/pre-trained_models туториал HuggingFace], [https://developers.sber.ru/help/salutespeech/creating-audio-from-text верхнеуровневый обзор] технологий синтеза речи от Sber, [https://github.com/markovka17/dla/tree/2023 репозиторий курса DLA]
+
| style="background:#eaecf0;" | '''12''' || Прямой и обратный диффузионные процессы, диффузия как модель VAE || [https://vkvideo.ru/playlist/-227011779_46/video-227011779_456239631?linked=1&t=40m38s Лекция VK] [Семинар VK] [https://www.youtube.com/watch?v=VsF0MU-6754&list=PLmA-1xX7IuzC-MkRlR8XdGJQlQUKigDR9&index=2 Лекция Ytb]|| [Лекция] [Семинар] ||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || [https://vk.com/video-227011779_456239111 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture08-opt.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar_8.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239129 Запись семинара] || [https://education.yandex.ru/handbook/ml/article/distillyaciya-znanij Про дистилляцию знаний], [https://habr.com/ru/companies/yandex/articles/800945/ Про квантизацию] (Хабр), [https://pytorch.org/tutorials/intermediate/pruning_tutorial.html Про pruning] (pytorch) и [https://education.yandex.ru/handbook/ml/article/kak-ocenivat-veroyatnosti калибровку]
+
| style="background:#eaecf0;" | '''13''' || || [Лекция] [Семинар] || [Лекция] [Семинар] ||
 
|}
 
|}
−
 
  
 
==Формула оценивания ==
 
==Формула оценивания ==
−
Общая оценка: <code>0.5*<small>ДЗ</small> + 0.15*<small>Тесты</small> + 0.25*<small>Экз.</small> + 0.1*<small>Stepik</small></code>
+
Общая оценка: <code>𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен</code>
−
 
+
−
Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.
+
  
 
==Stepik ==
 
==Stepik ==
Строка 90: Строка 121:
 
== Домашние задания ==
 
== Домашние задания ==
  
−
== Экзамен ==
+
===Инвайты в Anytask===
−
Вопросы к экзамену: [https://docs.google.com/document/d/1eEiKyTDuHl-skvNfr-TGyryiMCA7ru9b4jwK0EV97OQ/edit?usp=sharing Google Doc]
+
 
 +
Base Group: <code>WhnrWvK</code>
 +
 
 +
Pro Group: <code>iYcTpI5</code>
 +
 
 +
'''Base / Pro - мягкий дедлайн:'''
 +
 
 +
1. NLP / ImageGPT - дедлайн 12 октября 23:59
 +
 
 +
2. GAN&VAE / Glow - дедлайн 6 ноября 23:59
 +
 
 +
3. Diffusion&Flows / VQ VAE - 14 ноября 23:59
 +
 
 +
4. MM AR / GANs - 28 ноября 23:59
 +
 
 +
Жесткий дедлайн по всем заданиям: 1 декабря 2025*
 +
 
 +
* Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.
 +
 
 +
 
 +
 
 +
'''Правила дедлайнов по курсу:'''
 +
 
 +
- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла
 +
 
 +
- после трех недель просрочки штраф 6 баллов и он не увеличивается
 +
 
 +
- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.
 +
 
 +
== Теормин и Экзамен ==
 +
 
 +
'''Теормин''' - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.
 +
 
 +
- Теормин ожидается 1 декабря.
 +
 
 +
- Балл за теормин: 0 / 5 / 10.
 +
 
 +
 
  
−
Пробный вариант: [https://t.me/c/2219793815/4/2131 ссылка на сообщение с pdf в чате курса]
+
'''Экзамен''' - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.
 +
 +
- На экзамен допускаются только те, кто получил полный балл (10) за теормин.
  
−
<br/>
+
- Экзамен пройдет в сессию 2го модуля.
−
Пройдет 23.10 (Ср.) в 19:00
+
−
<br/>
+
−
На написание 80 мин. (одна пара), 10 мин. на загрузку заданий в Энитаск
+
−
<br/>
+
−
В Зуме нужно будет включить веб-камеру, выключить микрофон и запустить демонстрацию экрана.
+
−
<br/>
+
−
За написанием будут следить преподаватели и ассистенты
+
−
<br/>
+
−
От 4-х до 6-ти задач на разное количество баллов (в сумме -- 10)
+

Текущая версия на 18:13, 5 декабря 2025

О курсе

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Группа Преподаватели
Базовая Тихонова Мария, Кантонистова Елена
Продвинутая Тихонова Мария, Карагодин Никита
Ассистенты
Уваров Николай Матвеев Денис Тихонов Даниил
Прудников Николай Хасенов Ильяс Саргсян Нарек
Герасимов Борис Черников Олег Семенов Иван

Материалы курса

Ссылка на плейлист курса на VK: VK-playlist

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Расписание базовой группы:

Занятие Тема Записи лекций и семинаров Материалы на гитхабе Дополнительные материалы
1 Задача машинного перевода, механизм внимания, Transformer Лекция VK Семинар VK [Лекция] [Семинар]
2 Токенизация, BERT, дообучение трансформерных моделей Лекция VK [Семинар] [Лекция] [Семинар]
3 Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение [Лекция] [Семинар] [Лекция] [Семинар]
4 Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM [Лекция] [Семинар] [Лекция] [Семинар]
5 Нормализующие потоки [Лекция] [Семинар] [Лекция] [Семинар]
6 Автокодировщики, вариационные автокодировщики [Лекция] [Семинар] [Лекция] [Семинар]
7 Генеративно-состязательные сети, StyleGAN [Лекция] [Семинар] [Лекция] [Семинар]
8 Диффузионные модели [Лекция] [Семинар] [Лекция] [Семинар]
9 Мультимодальные модели, CLIP, Stable Diffusion [Лекция] [Семинар] [Лекция] [Семинар]

Расписание продвинутой группы:

Занятие Тема Записи лекций и семинаров Материалы на гитхабе Домашние задания
1 Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели Лекция VK Семинар VK Лекция Семинар ImageGPT
2 Задача машинного перевода, механизм внимания, Transformer Лекция VK Семинар VK [Лекция] [Семинар]
3 Токенизация, BERT, дообучение трансформерных моделей Лекция VK [Семинар] [Лекция] [Семинар]
4 Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение [Лекция] [Семинар] [Лекция] [Семинар]
5 Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM [Лекция] [Семинар] [Лекция] [Семинар]
6 Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow Лекция VK Семинар VK Лекция Семинар Glow
7 Модели скрытых переменных, ЕМ-алгоритм, вывод вариационной нижней оценки (ELBO) Лекция Лекция VK
8 Амортизированный вариационный вывод, трюк репараметризации, VAE, ELBO Surgery, Learnable Prior Лекция VK Семинар VK Лекция Семинар
9 Discrete VAE, VQ-VAE, VQ-VAE2, likelihood free-learning, GANs Лекция VK Лекция Ytb Лекция
10 Проблемы GANs: Mode collapse, Manifold Hypotesis; Wasserstain Distance, WGAN, WGAN-GP, PG-GAN, SAGAN, StyleGAN Лекция VK Семинар VK Лекция Ytb Лекция [Семинар]
11 Energy based models, динамика Ланжевена, score matching: Implicit score matching, sliced score matching, denoising score matching, Noise conditioned score network Лекция VK Лекция Ytb [Лекция] [Семинар]
12 Прямой и обратный диффузионные процессы, диффузия как модель VAE Лекция VK [Семинар VK] Лекция Ytb [Лекция] [Семинар]
13 [Лекция] [Семинар] [Лекция] [Семинар]

Формула оценивания

Общая оценка: 𝟎.𝟔×ДЗ + 𝟎.𝟏×Степик + 𝟎.𝟏×Теормин + 𝟎.𝟐×Экзамен

Stepik

В оценку за Stepik идут только следующие модули:

Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).


Домашние задания

Инвайты в Anytask

Base Group: WhnrWvK

Pro Group: iYcTpI5

Base / Pro - мягкий дедлайн:

1. NLP / ImageGPT - дедлайн 12 октября 23:59

2. GAN&VAE / Glow - дедлайн 6 ноября 23:59

3. Diffusion&Flows / VQ VAE - 14 ноября 23:59

4. MM AR / GANs - 28 ноября 23:59

Жесткий дедлайн по всем заданиям: 1 декабря 2025*

  • Для сдачи курса на зачет (4 балла) можно досдавать домашние задания после жесткого дедлайна - до 20 декабря 23:59. Только в случае, если речь идет про зачет/незачет. Выше оценки 4 в случае поздней досдачи получить нельзя.


Правила дедлайнов по курсу:

- за каждую неделю просрочки после мягкого дедлайна штраф 2 балла

- после трех недель просрочки штраф 6 баллов и он не увеличивается

- после трех недель просрочки и до -1 недели до конца модуля можно сдавать задания с максимальным баллом 4.

Теормин и Экзамен

Теормин - устный опрос по заранее фиксированному списку вопросов с кратким ответом. Необходимо ответить на 3 вопроса за не более, чем 5 минут.

- Теормин ожидается 1 декабря.

- Балл за теормин: 0 / 5 / 10.


Экзамен - устный разговор по темам курса, не более 10 минут, ожидаются развернутые ответы в свободной форме.

- На экзамен допускаются только те, кто получил полный балл (10) за теормин.

- Экзамен пройдет в сессию 2го модуля.

Источник — «http://wiki.cs.hse.ru/index.php?title=Генеративные_модели_в_машинном_обучении_(ИИ_2025)&oldid=94064»