Просмотр исходного текста страницы Генеративные модели в машинном обучении (ИИ 2024)

==О курсе ==
Курс читается на первом модуле студентам магистерской образовательной программы [https://www.hse.ru/ma/mlds/ "Искусственный интеллект"].

Канал и чат курса в ТГ: [https://t.me/+7ZPeMW1hhwkzNjcy Чат]

{| class="wikitable"
|-
! Группа !! Преподаватели !! Zoom !! Время
|-
| Базовая || [https://t.me/GLBHLB Ершов Глеб] || [https://us06web.zoom.us/j/89645002272?pwd=RuaaVGGOUyY8nbGc7Zk4N2SRG2U6Hf.1 Zoom] || суббота 13:00 + вторник 17.09 18:10
|-
| Продвинутая || [https://t.me/mikhail_h91 Гущин Михаил] || [https://us06web.zoom.us/j/82024709724?pwd=qf2esH8cmRAGsXIg4a1hfbot7atBX7.1 Zoom] || четверг 18:10 + среда 25.09 18:10
|}

{| class="wikitable"
|-
! Ассистенты
|-
| [https://t.me/Savely_Prokhorov Прохоров Савелий]
|-
| [https://t.me/danokil Охотин Даниил]
|-
| [https://t.me/sonya_leaf Никифорова Соня-Аня]
|}

{| class="wikitable"
|-
! Кураторы
|-
| [https://t.me/roman_zalesinskii Залесинский Роман]
|-
| [https://t.me/WhiteShape Зуев Гордей]
|}

==Материалы курса ==
Ссылка на плейлист курса на VK: [https://vk.com/video/playlist/-227011779_10 VK-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/hushchyn-mikhail/gen_models_ai_hse GitHub]

Ссылка на stepik: [https://stepik.org/course/179805/promo#toc Stepik]

{| class="wikitable"
|-
 ! Занятие !! Тема !! Материалы для самоподготовки к семинарам !! Материалы семинаров !! Дополнительные материалы
|-

| style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка], [https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab], [https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart];
|-

| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.];
|-

| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модули 14.1 и 15.1 на Stepik] || - || - 
|-
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || [https://stepik.org/lesson/1366006 Модули 14 и 15.3 на Stepik] || - || - 
|-
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || - || - 
|-
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || - || - 
|-
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || - || - 
|-
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || - || - 
|}

==Формула оценивания ==
Общая оценка:  <code>0.5*<small>ДЗ</small> + 0.15*<small>Тесты</small> + 0.25*<small>Экз.</small> + 0.1*<small>Stepik</small></code>

Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.

==Stepik ==
В оценку за Stepik идут только следующие модули:

* [https://stepik.org/lesson/1260768 Модуль 10 Attention]

* [https://stepik.org/lesson/1260773 Модуль 11 Трансформеры: теория]

* [https://stepik.org/lesson/1322959 Модуль 12 Трансформеры: практика]

* [https://stepik.org/lesson/1366006 Модуль 14 Классические генеративные модели]

* [https://stepik.org/lesson/1366010 Модуль 15 Современные генеративные модели]

* [https://stepik.org/lesson/1366014 Модуль 16 Методы оптимизации нейронных сетей]

'''Важно:''' Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).


== Домашние задания ==
Инвайт в Anytask: ''UZppWJ0'' (проверить)


== Тесты и неоцениваемые теоретические ДЗ ==

# "Attention, Transformers": [https://forms.gle/4HU7qXwKqq4HY2y87 ссылка], '''дедлайн''' -- 25.09 (Сб.), 23:59 МСК
#
#

== Экзамен ==
...

== Литература ==

===Курсы по машинному обучению и анализу данных===
* [https://github.com/yandexdataschool/nlp_course Курс NLP в ШАД]
* [https://github.com/mryab/dl-hse-ami Глубинное обучение, ВШЭ ]
* [https://stepik.org/course/124069/promo, Глубинное обучение 1, МФТИ]
* [https://stepik.org/course/111171/promo, Глубинное обучение 2, МФТИ]
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]

===Книги===
* [https://d2l.ai/ Dive into Deep Learning]
* [https://www.deeplearningbook.org/ Goodfellow I., Bengio Y. and Courville A., Deep Learning]