Генеративные модели в машинном обучении (ИИ 2024)
Содержание
О курсе
Курс читается на первом модуле студентам магистерской образовательной программы "Искусственный интеллект".
Канал и чат курса в ТГ: Чат
| Группа | Преподаватели | Zoom | Время |
|---|---|---|---|
| Базовая | Ершов Глеб | Zoom | суббота 13:00 + вторник 17.09 18:10 |
| Продвинутая | Гущин Михаил | Zoom | четверг 18:10 + среда 25.09 18:10 |
| Ассистенты |
|---|
| Прохоров Савелий |
| Охотин Даниил |
| Никифорова Соня-Аня |
| Кураторы |
|---|
| Залесинский Роман |
| Зуев Гордей |
Материалы курса
Ссылка на плейлист курса на VK: VK-playlist
Ссылка на GitHub с материалами курса: GitHub
Ссылка на stepik: Stepik
| Занятие | Тема | Материалы для самоподготовки к семинарам | Материалы семинаров | Дополнительные материалы |
|---|---|---|---|---|
| 1 | Трансформеры | Модули 10 и 11 на Stepik | Тетрадка, Colab, Запись_продвинутая | Запись лекции про Attention и трансформеры на ИАДе, Слайды к ней; Attention is All You Need; The Illustrated Transformer; Visualizing Attention, a Transformer's Heart; |
| 2 | Архитектуры трансформеров | Модули 10, 11 и 12 на Stepik | Тетрадка, Colab | Кратко про BERT, GPT и T5 модели; The Illustrated BERT, ELMo, and co.; |
| 3 | Генеративно-состязательные сети (GANs) | Модули 14.1 и 15.1 на Stepik | Слайды, Лекция, Семинар | Лекция ПЗАД по GAN и слайды; |
| 4 | Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) | Модули 14 и 15.3 на Stepik | Слайды | Лекция ПЗАД по NF и слайды; |
| 5 | Диффузионные модели | Модуль 15 на Stepik | - | Лекция ПЗАД по диффузиям и слайды; |
| 6 | Мультимодальные модели | Модуль 15 на Stepik | - | - |
| 7 | Синтез речи (Text-to-Speech) | - | - | - |
| 8 | Оптимизация моделей | Модуль 16 на Stepik | - | - |
Формула оценивания
Общая оценка: 0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik
Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.
Stepik
В оценку за Stepik идут только следующие модули:
Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
Домашние задания
Инвайт в Anytask: qR6fkx0
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.
Задание 1. Трансформеры
В этой домашней работе вам предстоит добавить к BERT'у декодерную часть и решить задачу генерации суммаризаций для текстов новостей на русском языке.
Мягкий дедлайн: 01 октября 2024 года 23:59
Дедлайн: 05 октября 2024 года 23:59
Ссылка: https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/homeworks/homework_1.ipynb
Тесты и неоцениваемые теоретические ДЗ
- "Attention, Transformers": ссылка, дедлайн -- 25.09 (Ср.), 23:59 МСК
Экзамен
...
Литература
Курсы по машинному обучению и анализу данных
- Курс NLP в ШАД
- Глубинное обучение, ВШЭ
- Глубинное обучение 1, МФТИ
- Глубинное обучение 2, МФТИ
- Курс по машинному обучению К.В. Воронцова
