|
|
| Строка 39: |
Строка 39: |
| | |- | | |- |
| | | | |
| − | | style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка], [https://colab.research.google.com/github/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-1.ipynb Colab], [https://vk.com/video-227011779_456239029?list=ln-KuJSQ7BZx27m3TtGP2 Запись_продвинутая] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart]; | + | | style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart]; |
| | |- | | |- |
| | | | |
| − | | style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || [https://stepik.org/lesson/1322959 Модули 10, 11 и 12 на Stepik] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab], [https://vk.com/video-227011779_456239041 Запись продвинутая] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.]; | + | | style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab], [https://vk.com/video-227011779_456239041 Запись продвинутая] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.]; |
| | |- | | |- |
| | | | |
Версия 22:14, 27 августа 2025
О курсе
Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".
Канал и чат курса в ТГ: Чат
Материалы курса
Ссылка на плейлист курса на VK: [ VK-playlist]
Ссылка на GitHub с материалами курса: GitHub
Ссылка на stepik: Stepik
Расписание базовой группы:
| Занятие |
Тема |
Записи лекций и семинаров |
Материалы на гитхабе |
Дополнительные материалы
|
| 1 |
Задача машинного перевода, механизм внимания, Transformer |
[Лекция] [Семинар] |
[Лекция] [Семинар] |
Запись лекции про Attention и трансформеры на ИАДе, Слайды к ней; Attention is All You Need; The Illustrated Transformer; Visualizing Attention, a Transformer's Heart;
|
| 2 |
Токенизация, BERT, дообучение трансформерных моделей |
[Лекция] [Семинар] |
Тетрадка, Colab, Запись продвинутая |
Кратко про BERT, GPT и T5 модели; The Illustrated BERT, ELMo, and co.;
|
| 3 |
Генеративно-состязательные сети (GANs) |
Модули 14.1 и 15.1 на Stepik |
Слайды, Лекция, Семинар, Ноутбук |
Лекция ПЗАД по GAN и слайды; туториал по DCGAN от torch; оригинальная статья Яна Гудфеллоу; Wiki ИТМО; глава из учебника Яндекса
|
| 4 |
Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) |
Модули 14 и 15.3 на Stepik |
Слайды, Запись лекции, Семинарский ноутбук, Запись семинара |
Лекция ПЗАД по NF и слайды; глава учебника Яндекса про VAE, обзор NVAE, реализация NVAE, реализация VAE на Habr; глава учебника Яндекса по NF, заметки о различных архитектурах NF, репозиторий с реализациями архитектур NF
|
| 5 |
Диффузионные модели |
Модуль 15 на Stepik |
Запись лекции, Слайды, Тетрадка с семинара, Запись семинара |
Лекция ПЗАД по диффузиям и слайды; глава в учебнике Яндекса, курс HuggingFace, заметки о генерации видео, описание создания e2e модели генерации видео от Яндекса, репозиторий с материалами по диффузиям
|
| 6 |
Мультимодальные модели |
Модуль 15 на Stepik |
Запись лекции, Слайды, Семинарский ноутбук, Запись семинара |
семинар от Сбера про различные мультимодальные архитектуры, статья про CLIP от OpenAI, туториал по ViT на HuggingFace
|
| 7 |
Синтез речи (Text-to-Speech) |
- |
Запись лекции, Слайды, Семинарский ноутбук, Запись семинара |
Wiki ИТМО, туториал HuggingFace, верхнеуровневый обзор технологий синтеза речи от Sber, репозиторий курса DLA
|
| 8 |
Оптимизация моделей |
Модуль 16 на Stepik |
Запись лекции, Слайды, Семинарский ноутбук, Запись семинара |
Про дистилляцию знаний, Про квантизацию (Хабр), Про pruning (pytorch) и калибровку
|
Формула оценивания
Общая оценка: 0.6*ДЗ + 0.1*степик + 0.1*теормин + 0.2*Экз
Stepik
В оценку за Stepik идут только следующие модули:
Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
Домашние задания
Экзамен
