МОВС Глубинное обучение (ММОВС22, 4-5 модули)
Содержание
О курсе
Занятия проходят по субботам.
У базовой группы с 11:10 по 12:30 по ссылке Zoom.
У продвинутой группы с 13:00 по 14:20 по ссылке Zoom.
Контакты
Канал и чат курса в TG: channel link
Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович
| Ассистенты | Контакты |
|---|---|
| Акимов Тимур | @takimov |
| Казюлина Марина | @poemgranate |
| Никифоров Михаил | @caesiummm |
| Жирков Фёдор | @ko4osik |
| Лазарева Анна | @annalzrv |
| Кураторы | Контакты |
|---|---|
| Залесинский Роман | @roman_zalesinskii |
| Герасимова Мария | @mariya_math |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub (ПМИ)
Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive
| Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
|---|---|---|---|---|
| 1 [Запись (Middle), Запись (Advanced)] | [Ноутбук Advanced, Ноутбук Middle] Полносвязные нейронные сети | 13.04.24 |
Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и Лекция Ильдуса про полносвязные нейросети. Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа |
|
| 2 [Запись (Middle)] | [Ноутбук Advanced, Ноутбук Middle] Полносвязные нейронные сети (продолжение) | 20.04.24 | Лекция "Оптимизации нейронных сетей" | |
| 3 [Запись] | [Ноутбук] Свёрточные нейронные сети | 26.04.23 | ||
| 4 [Запись] | [Ноутбук] Свёрточные нейронные сети (продолжение) | 10.05.23 | Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) | Данные к семинару |
| 5 [Запись] | [Ноутбук] Сегментация и детекция | 19.05.23 | Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса | |
| 6 [Запись] | [Ноутбук] Нейросетевые векторные представления слов | 26.05.23 | Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса | |
| 7 [Запись] | [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder | 31.05.23 | Лекция Е. Соколова, Лекция Ильдуса | Данные к первой части семинара |
| 8 [Запись] | [Ноутбук] Дистилляция, квантизация, прунинг | 07.06.23 | Лекция (Ильдус) | |
| 9 [Запись] | [Ноутбук] Трансформеры 1 | 06.09.23 | Лекция (Алексей Биршерт), Лекция Ильдуса | Статьи "The Illustrated Transformer" и Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention), Jay Alammar |
| 10 [Запись] | [Ноутбук] Трансформеры 2 (BERT) | 13.09.23 | Лекция Ильдуса | Ноутбук про SimCLR для интересующихся |
| 11 [Запись] | [Ноутбук], PDF-ка] Генеративно-состязательные сети (GANs) | 20.09.23 | Лекция Ильдуса | Туториал от торча по GAN'ам для картинок |
| 12 [Запись] | [Ноутбук] (Вариационные) автокодировщики [(V)AEs] | 27.09.23 | Лекция Ильдуса | Блог-пост про свёртки |
| 13 [Запись] | [Ноутбук] Нормализационные потоки (NFs), Гущин Михаил | 04.10.23 | Лекция | |
| 14 [Запись] | [Ноутбук] Диффузионные модели (Diffusion), Гущин Михаил | 11.10.23 | Лекция, Лекция Ильдуса | |
| 15 [Запись] | [Ноутбук] Style Transfer, Deep Fakes & Supurresolution Tasks, Гущин Михаил | 18.10.23 | Лекция |
Формула оценивания
Оценка 0.15*Тесты + 0.25*Письменный коллоквиум + 0.6*ДЗ
Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75
Домашние задания
Инвайт в Anytask: UZppWJ0
- Домашнее задание 1 - Дедлайн: 08.05.2024
Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
- Домашнее задание 2 - Дедлайн: 26.05.2024
Свёрточные нейронные сети | [Ноутбук] |
- Домашнее задание 3 - Дедлайн: 09.06.2024
Языковые модели (RNN, LSTM) | Это задание не оценивается, но по нему ассистенты дадут развернутый комментарий
Тесты и неоцениваемые теоретические ДЗ
Коллоквиум
Коллоквиум состоится не ранее 14.06 и вероятно будет представлять собой 4-5 задач с письменным ответом на понимание теории Глубинного обучения.
О дополнениях и уточнениях сообщим позже.
Экзамен
Экзамен будет устный, пройдет в сессию 5-го модуля. Будет состоять из вопросов по трансформерам и генеративным моделям, а также материалам первой части курса.
С прочими уточнениями вернемся позднее
Литература
- Гудфеллоу Я. − Глубокое обучение
- Christopher M. Bishop - Pattern Recognition and Machine Learning
- Стивенс Э. - PyTorch. Освещая глубокое обучение
