Генеративные модели в машинном обучении (ИИ 2024) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 44: Строка 44:
 
  ! Занятие !! Тема !! Материалы для самоподготовки к семинарам !! Материалы семинаров !! Дополнительные материалы
 
  ! Занятие !! Тема !! Материалы для самоподготовки к семинарам !! Материалы семинаров !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' || Трансформеры || - || [[https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab]] [[https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая]] || [[https://arxiv.org/abs/1706.03762 Статья1]] [[http://jalammar.github.io/illustrated-transformer/ Статья2]] [[https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Статья3]]
+
| style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [[https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab]] [[https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая]] || [[https://arxiv.org/abs/1706.03762 Статья1]] [[http://jalammar.github.io/illustrated-transformer/ Статья2]] [[https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Статья3]]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || - || [[https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab]] || -  
+
| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [[https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab]] || -  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || - || - || -  
+
| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модуль 15.1 на Stepik] || - || -  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || - || - || -  
+
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || [https://stepik.org/lesson/1366006 Модули 14 и 15.3 на Stepik] || - || -  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || - || - || -  
+
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || - || -  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || - || - || -  
+
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || [https://stepik.org/lesson/1366010 Модуль 15 на Stepik] || - || -  
 
|-
 
|-
 
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || - || -  
 
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || - || -  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || - || - || -  
+
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || - || -  
 
|}
 
|}
  

Версия 15:14, 13 сентября 2024

О курсе

Курс читается на первом модуле студентам магистерской образовательной программы "Искусственный интеллект".

Канал и чат курса в ТГ: Чат

Группа Преподаватели Zoom Время
Базовая Ершов Глеб Zoom суббота 13:00 + вторник 17.09 18:10
Продвинутая Гущин Михаил Zoom четверг 18:10 + среда 25.09 18:10
Ассистенты
Прохоров Савелий
Охотин Даниил
Никифорова Соня-Аня
Кураторы
Залесинский Роман
Зуев Гордей

Материалы курса

Ссылка на плейлист курса на VK: VK-playlist

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Занятие Тема Материалы для самоподготовки к семинарам Материалы семинаров Дополнительные материалы
1 Трансформеры Модули 10 и 11 на Stepik [Тетрадка] [Colab] [Запись_продвинутая] [Статья1] [Статья2] [Статья3]
2 Архитектуры трансформеров Модули 10, 11 и 12 на Stepik [Colab] -
3 Генеративно-состязательные сети (GANs) Модуль 15.1 на Stepik - -
4 Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) Модули 14 и 15.3 на Stepik - -
5 Диффузионные модели Модуль 15 на Stepik - -
6 Мультимодальные модели Модуль 15 на Stepik - -
7 Синтез речи (Text-to-Speech) - - -
8 Оптимизация моделей Модуль 16 на Stepik - -

Формула оценивания

Общая оценка: 0.5*OДЗ + 0.15*ОТесты + 0.25*ОЭкз. + 0.1*ОStepik

Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.

Домашние задания

Инвайт в Anytask: UZppWJ0 (проверить)

Задание 1. Трансформеры

Вам предстоит дообучить трансформер на своих данных.

Дедлайн: 04 марта 2024 года 23:59

Ссылка: (ссылка)

Задание 2. Генеративные модели

Вам предстоит обучить генеративную модель на своих данных.

Дедлайн: 01 апреля 2024 года 23:59

Ссылка: (ссылка)

Задание 3. Мультимодельные модели

Вам предстоит разобраться с мультимодальностью.

Дедлайн: 01 апреля 2024 года 23:59

Ссылка: (ссылка)

Тесты и неоцениваемые теоретические ДЗ (ТУДУ)

  1. "Attention, Transformers": ссылка, дедлайн -- 14.09 (Сб.), 23:59 МСК

Экзамен (ТУДУ)

...

Литература

Курсы по машинному обучению и анализу данных

Книги

Источник — «http://wiki.cs.hse.ru/index.php?title=Генеративные_модели_в_машинном_обучении_(ИИ_2024)&oldid=86292»