Генеративные модели в машинном обучении (ИИ 2024) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
Mhushchyn (обсуждение | вклад) |
Mhushchyn (обсуждение | вклад) |
||
| Строка 46: | Строка 46: | ||
| style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [[https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab]] [[https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая]] || [[https://arxiv.org/abs/1706.03762 Статья1]] [[http://jalammar.github.io/illustrated-transformer/ Статья2]] [[https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Статья3]] | | style="background:#eaecf0;" | '''1''' || Трансформеры || [https://stepik.org/lesson/1260768 Модули 10 и 11 на Stepik] || [[https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab]] [[https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая]] || [[https://arxiv.org/abs/1706.03762 Статья1]] [[http://jalammar.github.io/illustrated-transformer/ Статья2]] [[https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Статья3]] | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [[https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab | + | | style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab] || - |
|- | |- | ||
| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модуль 15.1 на Stepik] || - || - | | style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || [https://stepik.org/lesson/1366010 Модуль 15.1 на Stepik] || - || - | ||
Версия 15:38, 13 сентября 2024
Содержание
О курсе
Курс читается на первом модуле студентам магистерской образовательной программы "Искусственный интеллект".
Канал и чат курса в ТГ: Чат
| Группа | Преподаватели | Zoom | Время |
|---|---|---|---|
| Базовая | Ершов Глеб | Zoom | суббота 13:00 + вторник 17.09 18:10 |
| Продвинутая | Гущин Михаил | Zoom | четверг 18:10 + среда 25.09 18:10 |
| Ассистенты |
|---|
| Прохоров Савелий |
| Охотин Даниил |
| Никифорова Соня-Аня |
| Кураторы |
|---|
| Залесинский Роман |
| Зуев Гордей |
Материалы курса
Ссылка на плейлист курса на VK: VK-playlist
Ссылка на GitHub с материалами курса: GitHub
Ссылка на stepik: Stepik
| Занятие | Тема | Материалы для самоподготовки к семинарам | Материалы семинаров | Дополнительные материалы |
|---|---|---|---|---|
| 1 | Трансформеры | Модули 10 и 11 на Stepik | [Тетрадка] [Colab] [Запись_продвинутая] | [Статья1] [Статья2] [Статья3] |
| 2 | Архитектуры трансформеров | Модули 10, 11 и 12 на Stepik | Тетрадка, Colab | - |
| 3 | Генеративно-состязательные сети (GANs) | Модуль 15.1 на Stepik | - | - |
| 4 | Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) | Модули 14 и 15.3 на Stepik | - | - |
| 5 | Диффузионные модели | Модуль 15 на Stepik | - | - |
| 6 | Мультимодальные модели | Модуль 15 на Stepik | - | - |
| 7 | Синтез речи (Text-to-Speech) | - | - | - |
| 8 | Оптимизация моделей | Модуль 16 на Stepik | - | - |
Формула оценивания
Общая оценка: 0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik
Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.
Stepik
В оценку за Stepik идут только следующие модули:
Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
Домашние задания
Инвайт в Anytask: UZppWJ0 (проверить)
Тесты и неоцениваемые теоретические ДЗ
- "Attention, Transformers": ссылка, дедлайн -- 25.09 (Сб.), 23:59 МСК
Экзамен
...
Литература
Курсы по машинному обучению и анализу данных
- Основы глубинного обучения, ВШЭ
- Глубинное обучение, ВШЭ
- Глубинное обучение 1, МФТИ
- Глубинное обучение 2, МФТИ
- Онлайн-учебник по машинному обучению от ШАД
- Курс по машинному обучению К.В. Воронцова
