Генеративные модели в машинном обучении (ИИ 2024) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
Mhushchyn (обсуждение | вклад) |
Mhushchyn (обсуждение | вклад) |
||
| Строка 103: | Строка 103: | ||
===Курсы по машинному обучению и анализу данных=== | ===Курсы по машинному обучению и анализу данных=== | ||
| − | * [ | + | * [https://github.com/yandexdataschool/nlp_course Курс NLP в ШАД] |
* [https://github.com/mryab/dl-hse-ami Глубинное обучение, ВШЭ ] | * [https://github.com/mryab/dl-hse-ami Глубинное обучение, ВШЭ ] | ||
* [https://stepik.org/course/124069/promo, Глубинное обучение 1, МФТИ] | * [https://stepik.org/course/124069/promo, Глубинное обучение 1, МФТИ] | ||
* [https://stepik.org/course/111171/promo, Глубинное обучение 2, МФТИ] | * [https://stepik.org/course/111171/promo, Глубинное обучение 2, МФТИ] | ||
| − | |||
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова] | * [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова] | ||
| Строка 113: | Строка 112: | ||
* [https://d2l.ai/ Dive into Deep Learning] | * [https://d2l.ai/ Dive into Deep Learning] | ||
* [https://www.deeplearningbook.org/ Goodfellow I., Bengio Y. and Courville A., Deep Learning] | * [https://www.deeplearningbook.org/ Goodfellow I., Bengio Y. and Courville A., Deep Learning] | ||
| − | |||
| − | |||
Версия 16:02, 13 сентября 2024
Содержание
О курсе
Курс читается на первом модуле студентам магистерской образовательной программы "Искусственный интеллект".
Канал и чат курса в ТГ: Чат
| Группа | Преподаватели | Zoom | Время |
|---|---|---|---|
| Базовая | Ершов Глеб | Zoom | суббота 13:00 + вторник 17.09 18:10 |
| Продвинутая | Гущин Михаил | Zoom | четверг 18:10 + среда 25.09 18:10 |
| Ассистенты |
|---|
| Прохоров Савелий |
| Охотин Даниил |
| Никифорова Соня-Аня |
| Кураторы |
|---|
| Залесинский Роман |
| Зуев Гордей |
Материалы курса
Ссылка на плейлист курса на VK: VK-playlist
Ссылка на GitHub с материалами курса: GitHub
Ссылка на stepik: Stepik
| Занятие | Тема | Материалы для самоподготовки к семинарам | Материалы семинаров | Дополнительные материалы |
|---|---|---|---|---|
| 1 | Трансформеры | Модули 10 и 11 на Stepik | Тетрадка, Colab, Запись_продвинутая | Запись лекции про Attention и трансформеры на ИАДе, Слайды к ней; Attention is All You Need; The Illustrated Transformer; Visualizing Attention, a Transformer's Heart; |
| 2 | Архитектуры трансформеров | Модули 10, 11 и 12 на Stepik | Тетрадка, Colab | Кратко про BERT, GPT и T5 модели; The Illustrated BERT, ELMo, and co.; |
| 3 | Генеративно-состязательные сети (GANs) | Модули 14.1 и 15.1 на Stepik | - | - |
| 4 | Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) | Модули 14 и 15.3 на Stepik | - | - |
| 5 | Диффузионные модели | Модуль 15 на Stepik | - | - |
| 6 | Мультимодальные модели | Модуль 15 на Stepik | - | - |
| 7 | Синтез речи (Text-to-Speech) | - | - | - |
| 8 | Оптимизация моделей | Модуль 16 на Stepik | - | - |
Формула оценивания
Общая оценка: 0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik
Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.
Stepik
В оценку за Stepik идут только следующие модули:
Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
Домашние задания
Инвайт в Anytask: UZppWJ0 (проверить)
Тесты и неоцениваемые теоретические ДЗ
- "Attention, Transformers": ссылка, дедлайн -- 25.09 (Сб.), 23:59 МСК
Экзамен
...
Литература
Курсы по машинному обучению и анализу данных
- Курс NLP в ШАД
- Глубинное обучение, ВШЭ
- Глубинное обучение 1, МФТИ
- Глубинное обучение 2, МФТИ
- Курс по машинному обучению К.В. Воронцова
