Генеративные модели в машинном обучении (ИИ 2024) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (final UPD)
 
(не показано 46 промежуточных версии 2 участников)
Строка 1: Строка 1:
−
==О курсе (ТУДУ)==
+
==О курсе ==
−
Занятия проходят по субботам.
+
Курс читается на первом модуле студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].
  
−
У базовой группы с 11:10 по 12:30 по ссылке [ Zoom].
+
Канал и чат курса в ТГ: [https://t.me/+7ZPeMW1hhwkzNjcy Чат]
−
 
+
−
У продвинутой группы с 13:00 по 14:20 по ссылке [ Zoom].
+
−
 
+
−
==Контакты==
+
−
 
+
−
Канал и чат курса в TG: [https://t.me/+7ZPeMW1hhwkzNjcy channel link]
+
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Преподаватели !! Контакты
+
! Группа !! Преподаватели !! Zoom !! Время
 
|-
 
|-
−
| style="background:#eaecf0;" | Ершов Глеб || [https://t.me/GLBHLB @GLBHLB ]
+
| Базовая || [https://t.me/GLBHLB Ершов Глеб] || [https://us06web.zoom.us/j/89645002272?pwd=RuaaVGGOUyY8nbGc7Zk4N2SRG2U6Hf.1 Zoom] || суббота 13:00 + вторник 17.09 18:10
 
|-
 
|-
−
| style="background:#eaecf0;" | Гущин Михаил || [https://t.me/mikhail_h91 @mikhail_h91]
+
| Продвинутая || [https://t.me/mikhail_h91 Гущин Михаил] || [https://us06web.zoom.us/j/82024709724?pwd=qf2esH8cmRAGsXIg4a1hfbot7atBX7.1 Zoom] || четверг 18:10 + среда 25.09 18:10
 
|}
 
|}
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Ассистенты !! Контакты
+
! Ассистенты
 
|-
 
|-
−
| style="background:#eaecf0;" | Прохоров Савелий || [https://t.me/Savely_Prokhorov @Savely_Prokhorov]
+
| [https://t.me/Savely_Prokhorov Прохоров Савелий]
 
|-
 
|-
−
| style="background:#eaecf0;" | Охотин Даниил|| [https://t.me/danokil @danokil]
+
| [https://t.me/danokil Охотин Даниил]
 
|-
 
|-
−
| style="background:#eaecf0;" | Никифорова Соня-Аня || [https://t.me/sonya_leaf @sonya_leaf]
+
| [https://t.me/sonya_leaf Никифорова Соня-Аня]
 
|}
 
|}
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Кураторы !! Контакты
+
! Кураторы
 
|-
 
|-
−
| style="background:#eaecf0;" | Залесинский Роман || [https://t.me/roman_zalesinskii @roman_zalesinskii ]
+
| [https://t.me/roman_zalesinskii Залесинский Роман]
 
|-
 
|-
−
| style="background:#eaecf0;" | Зуев Гордей || [https://t.me/WhiteShape @WhiteShape]
+
| [https://t.me/WhiteShape Зуев Гордей]
 
|}
 
|}
  
−
==Материалы курса (ТУДУ)==
+
==Материалы курса ==
−
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI YouTube-playlist]
+
Ссылка на плейлист курса на VK: [https://vk.com/video/playlist/-227011779_10 VK-playlist]
  
−
Ссылка на GitHub с материалами курса: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023 GitHub (ПМИ)]
+
Ссылка на GitHub с материалами курса: [https://github.com/hushchyn-mikhail/gen_models_ai_hse GitHub]
  
−
Ссылка на GDrive c заполненными семинарскими ноутбуками: [https://drive.google.com/drive/u/0/folders/1UaPud4HbH97HREFo2yW6syX63JVMQ33Q GDrive]
+
Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]
−
 
+
−
Ссылка на stepik c : [https://stepik.org/course/179805/promo#toc stepik]
+
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
+
  ! Занятие !! Тема !! Материалы для самоподготовки к семинарам !! Материалы семинаров !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [https://www.youtube.com/watch?v=Dthv3qAb56E Запись (Middle)], [https://www.youtube.com/watch?v=PQMsF3WAot0 Запись (Advanced)] || [https://t.me/c/2035805700/6/243 Ноутбук Advanced], [https://t.me/c/2035805700/4/237 Ноутбук Middle] Полносвязные нейронные сети || 13.04.24 ||
 
−
Лекции Е. Соколова с ИАДа: [https://youtu.be/-VH7bIoxYp8?t=160 1] и [https://www.youtube.com/watch?v=g552oCpg-NE 2] (до свёрток) или/и
 
  
−
[https://www.youtube.com/watch?v=DXZK3rpDp4U&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=1&t=1s Лекция] Ильдуса про полносвязные нейросети.
+
| style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка], [https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab], [https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart];
 +
|-
  
−
Почитать можно [https://academy.yandex.ru/handbook/ml/article/nejronnye-seti раздел 5] "Введение в глубинное обучение" в учебнике ШАДа
+
| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab], [https://vk.com/video-227011779_456239041 Запись продвинутая] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.];
−
||  
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [https://www.youtube.com/watch?v=v4OowpHvoPo Запись (Middle)] || [https://t.me/c/2035805700/6/336 Ноутбук Advanced], [https://t.me/c/2035805700/4/334 Ноутбук Middle] Полносвязные нейронные сети (продолжение) || 20.04.24 || [https://www.youtube.com/watch?v=_RbndAAVMA4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=3 Лекция] "Оптимизации нейронных сетей" ||
 
−
|-
 
−
| style="background:#eaecf0;" | '''3''' [https://www.youtube.com/watch?v=3eV5djlSQMs&feature=youtu.be Запись (Advance)] , [https://www.youtube.com/watch?v=43oCfzqoEdQ&feature=youtu.be Запись (Middle)] || [https://t.me/c/2035805700/10/403 Ноутбук Advance] Свёрточные нейронные сети || 26.04.23 ||
 
−
 
−
Лекции Е. Соколова: [https://youtu.be/2fPB3Je7E98 1] (с 54:30) и [https://youtu.be/F53pfjKK0gc 2] или/и
 
  
−
[https://www.youtube.com/watch?v=C__S5v9iObQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=4 Лекция Ильдуса]
+
| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модули 14.1 и 15.1 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture03-gan.pdf Слайды], [https://vk.com/video-227011779_456239057 Лекция], [https://vk.com/video-227011779_456239059 Семинар], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-3-gans.ipynb Ноутбук]|| [https://www.youtube.com/watch?v=XvnC9B_hNt0 Лекция ПЗАД по GAN] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture01-gan.pdf слайды]; [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html туториал по DCGAN] от torch; [https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf оригинальная статья Яна Гудфеллоу]; [https://neerc.ifmo.ru/wiki/index.php?title=Generative_Adversarial_Nets_(GAN) Wiki ИТМО]; [https://education.yandex.ru/handbook/ml/article/generativno-sostyazatelnye-seti-(gan) глава из учебника Яндекса]  
−
||
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [Запись] || [Ноутбук] Свёрточные нейронные сети (продолжение) || 10.05.23 || [https://www.youtube.com/watch?v=NYKiAqT8xXY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=5 Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару
+
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || [https://stepik.org/lesson/1366006 Модули 14 и 15.3 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture04-nf.pdf Слайды], [https://vk.com/video-227011779_456239066 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-4-autoencoders.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239072 Запись семинара] || [https://www.youtube.com/watch?v=aj1U36E_RZE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=3 Лекция ПЗАД по NF] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture02-nf.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/variational-autoencoder-(vae) глава учебника Яндекса про VAE], [https://www.youtube.com/watch?v=x6T1zMSE4Ts обзор] NVAE, [https://github.com/NVlabs/NVAE реализация] NVAE, [https://github.com/NVlabs/NVAE реализация] VAE на Habr; [https://education.yandex.ru/handbook/ml/article/normalizuyushie-potoki глава учебника Яндекса по NF], [https://lilianweng.github.io/posts/2018-10-13-flow-models/ заметки] о различных архитектурах NF, [https://github.com/VincentStimper/normalizing-flows репозиторий] с реализациями архитектур NF
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [Запись] || [Ноутбук] Сегментация и детекция || 19.05.23 || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://www.youtube.com/watch?v=GGFSKLPKeL4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=6 Лекция Ильдуса] ||
+
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239070 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture05-diff.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-5.ipynb Тетрадка с семинара], [https://vk.com/video-227011779_456239088 Запись семинара] || [https://www.youtube.com/watch?v=z7QH-WWHmfE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=4 Лекция ПЗАД по диффузиям] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture03-diffusion.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/diffuzionnye-modeli глава в учебнике Яндекса], [https://huggingface.co/learn/diffusion-course/unit0/1 курс] HuggingFace, [https://lilianweng.github.io/posts/2024-04-12-diffusion-video/ заметки] о генерации видео, [https://habr.com/ru/companies/yandex/articles/839580/ описание] создания e2e модели генерации видео от Яндекса, [https://github.com/diff-usion/Awesome-Diffusion-Models репозиторий] с материалами по диффузиям
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [Запись] || [Ноутбук] Нейросетевые векторные представления слов || 26.05.23 || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://www.youtube.com/watch?v=pLFnqfvM7No&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=7 Лекция Ильдуса]||
+
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || [https://vk.com/video-227011779_456239085 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture06-multi.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-6.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239100 Запись семинара] || [https://www.youtube.com/watch?v=hH8dcl62XsY&t=2860s&ab_channel=siberai семинар от Сбера] про различные мультимодальные архитектуры, [https://openai.com/index/clip/ статья про CLIP] от OpenAI, [https://huggingface.co/docs/transformers/model_doc/vit туториал по ViT] на HuggingFace
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [Запись] || [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || 31.05.23 || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://www.youtube.com/watch?v=sXWwrz4v2OQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=8 Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара
+
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || [https://vk.com/video-227011779_456239098 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture07-tts.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar_7.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239129 Запись семинара] || [https://neerc.ifmo.ru/wiki/index.php?title=%D0%A1%D0%B8%D0%BD%D1%82%D0%B5%D0%B7_%D1%80%D0%B5%D1%87%D0%B8 Wiki ИТМО], [https://huggingface.co/learn/audio-course/ru/chapter6/pre-trained_models туториал HuggingFace], [https://developers.sber.ru/help/salutespeech/creating-audio-from-text верхнеуровневый обзор] технологий синтеза речи от Sber, [https://github.com/markovka17/dla/tree/2023 репозиторий курса DLA]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' [Запись] || [Ноутбук] Дистилляция, квантизация, прунинг || 07.06.23 || [https://www.youtube.com/watch?v=rW6hQloci7M&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=12 Лекция (Ильдус)] ||
+
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || [https://vk.com/video-227011779_456239111 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture08-opt.pdf Слайды], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar_8.ipynb Семинарский ноутбук], [https://vk.com/video-227011779_456239129 Запись семинара] || [https://education.yandex.ru/handbook/ml/article/distillyaciya-znanij Про дистилляцию знаний], [https://habr.com/ru/companies/yandex/articles/800945/ Про квантизацию] (Хабр), [https://pytorch.org/tutorials/intermediate/pruning_tutorial.html Про pruning] (pytorch) и [https://education.yandex.ru/handbook/ml/article/kak-ocenivat-veroyatnosti калибровку]
 
|}
 
|}
  
−
==Формула оценивания (ТУДУ)==
 
−
Оценка  0.15*Тесты + 0.25*Письменный коллоквиум + 0.6*ДЗ
 
  
−
Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75
+
====Конусльтации====
 +
1. ДЗ-1 (Глеб Ершов): https://vk.com/video-227011779_456239083
 +
 
 +
==Формула оценивания ==
 +
Общая оценка:  <code>0.5*<small>ДЗ</small> + 0.15*<small>Тесты</small> + 0.25*<small>Экз.</small> + 0.1*<small>Stepik</small></code>
 +
 
 +
Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.
 +
 
 +
==Stepik ==
 +
В оценку за Stepik идут только следующие модули:
 +
 
 +
* [https://stepik.org/lesson/1260768 Модуль 10 Attention]
 +
 
 +
* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]
 +
 
 +
* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]
 +
 
 +
* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]
 +
 
 +
* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]
 +
 
 +
* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]
 +
 
 +
'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
 +
 
 +
 
 +
== Домашние задания ==
 +
Инвайт в Anytask: <code>uupDuUn</code>
 +
 
 +
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.
 +
 
 +
===Задание 1. Трансформеры ===
 +
В этой домашней работе вам предстоит добавить к BERT'у декодерную часть и решить задачу генерации суммаризаций для текстов новостей на русском языке.
 +
 
 +
'''Мягкий дедлайн''':  01 октября 2024 года 23:59
 +
 
 +
'''Дедлайн''':  05 октября 2024 года 23:59
 +
 
 +
'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/homeworks/homework_1.ipynb
 +
 
 +
 
 +
===Задание 2. Генерация параметров кластеров на изображениях для частиц: cWGAN, cVAE===
 +
Ваша задача заключается в том, чтобы с помощью генеративно-состязательных сетей научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)
 +
 
 +
'''Мягкий дедлайн''': <strike>09 октября (Ср.)</strike> 11 октября (Пт.) 2024 года, 23:59
 +
 
 +
'''Дедлайн''': <strike>13 октября (Вс.)</strike> 15 октября (Вт.) 2024 года, 23:59
 +
 
 +
'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw2
 +
 
 +
 
 +
 
 +
===Задание 3. Генерация параметров кластеров на изображениях для частиц: диффузия, нормпотоки===
 +
Ваша задача заключается в том, чтобы с помощью диффузии и нормпотоков научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)
 +
 
 +
'''Мягкий дедлайн''': 19 октября (Сб.) 2024 года, 23:59
 +
 
 +
'''Дедлайн''': 22 октября (Вт.) 2024 года, 23:59
 +
 
 +
'''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw3
 +
 
 +
== Тесты ==
 +
 
 +
# "Attention, Transformers": [https://forms.gle/4HU7qXwKqq4HY2y87 ссылка], '''дедлайн''' -- 25.09 (Ср.), 23:59 МСК
 +
# "Классические генеративные модели: GAN, (V)AE, Normalizing Flows, Diffusion": [https://docs.google.com/forms/d/e/1FAIpQLScDNMeJYjoAoSuJqsusfYWhIagK6pHKOEt13A0A0QiaYiQvEw/viewform?usp=sf_link ссылка], '''дедлайн''' -- 07.10.24 (Пн.), 23:59
 +
# "Мультимодальность, TTS, оптимизация инференса": [https://docs.google.com/forms/d/e/1FAIpQLSe3_NoKCdSrT1wMrG-wK2QN09c_gpSN_tAOCuD-rsRTRUJLow/viewform?usp=sf_link ссылка], '''дедлайн''' -- 21.10.24 (Пн.), 23:59
 +
 
 +
===Тренировочные тесты (неоцениваемые)===
  
−
'''Дедлайн по Степику: 15.06.2024'''
+
* [https://docs.google.com/forms/d/e/1FAIpQLSc84GpwbKnl9PHsk8fKKPzmvP72VUJ3MskcmL_hf2y4_PDuUQ/viewform?usp=sf_link "Transformers, GANs, VAEs, NFs, Diffusion"]
  
−
== Домашние задания (ТУДУ) ==
+
== Экзамен ==
−
Инвайт в Anytask: ''UZppWJ0''
+
Вопросы к экзамену: [https://docs.google.com/document/d/1eEiKyTDuHl-skvNfr-TGyryiMCA7ru9b4jwK0EV97OQ/edit?usp=sharing Google Doc]
  
−
# Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: 08.05.2024'''
+
Пробный вариант: [https://t.me/c/2219793815/4/2131 ссылка на сообщение с pdf в чате курса]
−
# Свёрточные нейронные сети | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb Ноутбук]] | '''Дедлайн: 26.05.2024'''
+
−
# Рекуррентные нейронные сети | [https://drive.google.com/drive/folders/1cB7C0MlqRU-LdYsASP2Uy_gD-kbwx0Fg?usp=drive_link Языковые модели (RNN, LSTM)] | '''Дедлайн: 09.06.2024'''
+
  
−
== Тесты и неоцениваемые теоретические ДЗ (ТУДУ) ==
+
<br/>
 +
Пройдет 23.10 (Ср.) в 19:00
 +
<br/>
 +
На написание 80 мин. (одна пара), 10 мин. на загрузку заданий в Энитаск
 +
<br/>
 +
В Зуме нужно будет включить веб-камеру, выключить микрофон и запустить демонстрацию экрана.
 +
<br/>
 +
За написанием будут следить преподаватели и ассистенты
 +
<br/>
 +
От 4-х до 6-ти задач на разное количество баллов (в сумме -- 10)
  
−
...
+
== Литература ==
  
−
== Экзамен (ТУДУ)==
+
===Курсы по машинному обучению и анализу данных===
−
...
+
* [https://github.com/yandexdataschool/nlp_course Курс NLP в ШАД]
 +
* [https://github.com/mryab/dl-hse-ami Глубинное обучение, ВШЭ ]
 +
* [https://stepik.org/course/124069/promo, Глубинное обучение 1, МФТИ]
 +
* [https://stepik.org/course/111171/promo, Глубинное обучение 2, МФТИ]
 +
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
  
−
== Литература (ТУДУ) ==
+
===Книги===
−
* Гудфеллоу Я. − Глубокое обучение
+
* [https://d2l.ai/ Dive into Deep Learning]
−
* Christopher M. Bishop - Pattern Recognition and Machine Learning
+
* [https://www.deeplearningbook.org/ Goodfellow I., Bengio Y. and Courville A., Deep Learning]
−
* Стивенс Э. - PyTorch. Освещая глубокое обучение
+

Текущая версия на 07:20, 4 ноября 2024

О курсе

Курс читается на первом модуле студентам магистерской образовательной программы "Искусственный интеллект".

Канал и чат курса в ТГ: Чат

Группа Преподаватели Zoom Время
Базовая Ершов Глеб Zoom суббота 13:00 + вторник 17.09 18:10
Продвинутая Гущин Михаил Zoom четверг 18:10 + среда 25.09 18:10
Ассистенты
Прохоров Савелий
Охотин Даниил
Никифорова Соня-Аня
Кураторы
Залесинский Роман
Зуев Гордей

Материалы курса

Ссылка на плейлист курса на VK: VK-playlist

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Занятие Тема Материалы для самоподготовки к семинарам Материалы семинаров Дополнительные материалы
1 Трансформеры Модули 10 и 11 на Stepik Тетрадка, Colab, Запись_продвинутая Запись лекции про Attention и трансформеры на ИАДе, Слайды к ней; Attention is All You Need; The Illustrated Transformer; Visualizing Attention, a Transformer's Heart;
2 Архитектуры трансформеров Модули 10, 11 и 12 на Stepik Тетрадка, Colab, Запись продвинутая Кратко про BERT, GPT и T5 модели; The Illustrated BERT, ELMo, and co.;
3 Генеративно-состязательные сети (GANs) Модули 14.1 и 15.1 на Stepik Слайды, Лекция, Семинар, Ноутбук Лекция ПЗАД по GAN и слайды; туториал по DCGAN от torch; оригинальная статья Яна Гудфеллоу; Wiki ИТМО; глава из учебника Яндекса
4 Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) Модули 14 и 15.3 на Stepik Слайды, Запись лекции, Семинарский ноутбук, Запись семинара Лекция ПЗАД по NF и слайды; глава учебника Яндекса про VAE, обзор NVAE, реализация NVAE, реализация VAE на Habr; глава учебника Яндекса по NF, заметки о различных архитектурах NF, репозиторий с реализациями архитектур NF
5 Диффузионные модели Модуль 15 на Stepik Запись лекции, Слайды, Тетрадка с семинара, Запись семинара Лекция ПЗАД по диффузиям и слайды; глава в учебнике Яндекса, курс HuggingFace, заметки о генерации видео, описание создания e2e модели генерации видео от Яндекса, репозиторий с материалами по диффузиям
6 Мультимодальные модели Модуль 15 на Stepik Запись лекции, Слайды, Семинарский ноутбук, Запись семинара семинар от Сбера про различные мультимодальные архитектуры, статья про CLIP от OpenAI, туториал по ViT на HuggingFace
7 Синтез речи (Text-to-Speech) - Запись лекции, Слайды, Семинарский ноутбук, Запись семинара Wiki ИТМО, туториал HuggingFace, верхнеуровневый обзор технологий синтеза речи от Sber, репозиторий курса DLA
8 Оптимизация моделей Модуль 16 на Stepik Запись лекции, Слайды, Семинарский ноутбук, Запись семинара Про дистилляцию знаний, Про квантизацию (Хабр), Про pruning (pytorch) и калибровку


Конусльтации

1. ДЗ-1 (Глеб Ершов): https://vk.com/video-227011779_456239083

Формула оценивания

Общая оценка: 0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik

Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.

Stepik

В оценку за Stepik идут только следующие модули:

Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).


Домашние задания

Инвайт в Anytask: uupDuUn

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.

Задание 1. Трансформеры

В этой домашней работе вам предстоит добавить к BERT'у декодерную часть и решить задачу генерации суммаризаций для текстов новостей на русском языке.

Мягкий дедлайн: 01 октября 2024 года 23:59

Дедлайн: 05 октября 2024 года 23:59

Ссылка: https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/homeworks/homework_1.ipynb


Задание 2. Генерация параметров кластеров на изображениях для частиц: cWGAN, cVAE

Ваша задача заключается в том, чтобы с помощью генеративно-состязательных сетей научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)

Мягкий дедлайн: 09 октября (Ср.) 11 октября (Пт.) 2024 года, 23:59

Дедлайн: 13 октября (Вс.) 15 октября (Вт.) 2024 года, 23:59

Ссылка: https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw2


Задание 3. Генерация параметров кластеров на изображениях для частиц: диффузия, нормпотоки

Ваша задача заключается в том, чтобы с помощью диффузии и нормпотоков научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)

Мягкий дедлайн: 19 октября (Сб.) 2024 года, 23:59

Дедлайн: 22 октября (Вт.) 2024 года, 23:59

Ссылка: https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw3

Тесты

  1. "Attention, Transformers": ссылка, дедлайн -- 25.09 (Ср.), 23:59 МСК
  2. "Классические генеративные модели: GAN, (V)AE, Normalizing Flows, Diffusion": ссылка, дедлайн -- 07.10.24 (Пн.), 23:59
  3. "Мультимодальность, TTS, оптимизация инференса": ссылка, дедлайн -- 21.10.24 (Пн.), 23:59

Тренировочные тесты (неоцениваемые)

Экзамен

Вопросы к экзамену: Google Doc

Пробный вариант: ссылка на сообщение с pdf в чате курса


Пройдет 23.10 (Ср.) в 19:00
На написание 80 мин. (одна пара), 10 мин. на загрузку заданий в Энитаск
В Зуме нужно будет включить веб-камеру, выключить микрофон и запустить демонстрацию экрана.
За написанием будут следить преподаватели и ассистенты
От 4-х до 6-ти задач на разное количество баллов (в сумме -- 10)

Литература

Курсы по машинному обучению и анализу данных

Книги

Источник — «http://wiki.cs.hse.ru/index.php?title=Генеративные_модели_в_машинном_обучении_(ИИ_2024)&oldid=87698»