МОВС Глубинное обучение (ММОВС22, 4-5 модули) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
м (add Mikhail to tutors) |
м (almost final pre-year prep) |
||
| Строка 97: | Строка 97: | ||
== Тесты и неоцениваемые теоретические ДЗ == | == Тесты и неоцениваемые теоретические ДЗ == | ||
| − | + | <big>4. Трансформеры <br/> | |
| − | + | 5. Генеративные модели</big> | |
| − | + | ||
| − | '' | + | ''Возможны изменения в числе тестов в б'''о'''льшую сторону'' |
| − | * [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается) | + | # <small>[https://addonforge.com/timer/1FAIpQLSfv0YfUZ6zcI1CY05QjoZQDoNqKwzTGDAOlNuV0t4uN2JalIg "Полносвязные нейронные сети. Введение в pytorch"], выдан 27.04.23, '''дедлайн - '''<strike>30.04.23 (Вс)</strike> '''02.05.23 (Вт) 20:59 GMT+3'''</small> |
| + | # <small>[https://docs.google.com/forms/d/e/1FAIpQLSeTMDj-gPfAgKFtG-2zXKvPB6RRuYYu7kgQNEnVwhMXOEoGrw/viewform?usp=sf_link "Сверточные нейронные сети"], выдан 26.06.23, '''дедлайн - 29.05.23(Пн) 23:59 GMT+3''', ''досдать можно со штрафом в 2 балла до 20.06''</small> | ||
| + | # <small>[https://docs.google.com/forms/d/e/1FAIpQLSciENvCmNFJOusYOQzrP86gNDjOsEF4S-WaE72YLQWV4FiU-w/viewform?usp=sf_link Векторные представления текстов. RNN, LSTM], выдан 09.06.23, '''дедлайн - 13.06.23 (Вт) 23:59 GMT+3''', ''досдать можно со штрафом в 2 балла до 20.06''</small> | ||
| + | |||
| + | <small>''Возможно будет ещё 1-2 квиза на прочие топики.''</small> | ||
| + | |||
| + | * <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small> | ||
''За решение теоретических ДЗ возможно будут предусмотрены бонусы'' | ''За решение теоретических ДЗ возможно будут предусмотрены бонусы'' | ||
| Строка 111: | Строка 116: | ||
О дополнениях и уточнениях сообщим позже. | О дополнениях и уточнениях сообщим позже. | ||
| + | |||
| + | == Экзамен == | ||
| + | Необходимость и возможность пока обсуждаются | ||
== Литература == | == Литература == | ||
Версия 11:47, 29 августа 2023
Содержание
О курсе
Занятия в 5-м модуле проводятся в Zoom по средам в 18:00
Занятия в 4-м модуле проводились в Zoom по средам в 19:00
Контакты
Канал курса в TG: channel link
Чат курса в TG: chat link
Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович
| Ассистенты | Контакты |
|---|---|
| Марк Блуменау | @markblumenau |
| Илья Никитин | @is_nikitin |
| Кирилл Козлов | @dedpe |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub (ПМИ)
Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive
| Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
|---|---|---|---|---|
| 1 [Запись] | [Ноутбук] Полносвязные нейронные сети | 12.04.23 |
Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и Лекция Ильдуса про полносвязные нейросети. Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа |
|
| 2 [Запись] | [Ноутбук] Полносвязные нейронные сети (продолжение) | 19.04.23 | Лекция "Оптимизации нейронных сетей" | |
| 3 [Запись] | [Ноутбук] Свёрточные нейронные сети | 26.04.23 |
Лекции Е. Соколова: 1 (с 54:30) и 2 или/и Лекция Ильдуса (с 40:50) |
|
| 4 [Запись] | [Ноутбук] Свёрточные нейронные сети (продолжение) | 10.05.23 | Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) | Данные к семинару |
| 5 [Запись] | Ноутбук Сегментация и детекция | 19.05.23 | Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса | |
| 6 [Запись] | [Ноутбук] Нейросетевые векторные представления слов | 26.05.23 | Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса | |
| 7 [Запись] | [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder | 31.05.23 | Лекция Е. Соколова, Лекция Ильдуса | Данные к первой части семинара |
| 8 [Запись] | [Папка с ноутбуком, скриптами и данными] Дистилляция, квантизация, прунинг | 07.06.23 | Лекция (Ильдус) | |
| 9 Запись | Ноутбук Трансформеры 1 | 06.09.23 | Лекция | |
| 10 Запись | Ноутбук Трансформеры 2 | 13.09.23 | Лекция | |
| 11 Запись | Ноутбук Генеративно-состязательные сети (GANs) | 20.09.23 | Лекция | |
| 12 Запись | Ноутбук (Вариационные) автокодировщики [(V)AEs] | 27.09.23 | Лекция | |
| 13 Запись | Ноутбук Нормализационные потоки (NFs), Гущин Михаил | 04.10.23 | Лекция | |
| 14 Запись | Ноутбук Диффузионные модели (Diffusion), Гущин Михаил | 11.10.23 | Лекция | |
| 15 Запись | Ноутбук Style Transfer, Deep Fakes & Supurresolution Tasks, Гущин Михаил | 18.10.23 | Лекция |
Формула оценивания
Оценка за 5-й модуль = 0.15*Отесты + 0.25*Оэкзамен + 0.6*ОДЗ (уточняется)
Оценка за 4-й модуль = 0.15*Отесты + 0.25*Описьменный коллоквиум + 0.6*ОДЗ
Домашние задания
Инвайт в Anytask: DiXQURj
3. Трансформеры | Ноутбук | Дедлайн:
4. Генеративные модели | Ноутбук | Дедлайн:
- Полносвязные нейронные сети
Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
Дедлайн: 06.05.23 (Сб) 23:59 GMT+3 - Свёрточные нейронные сети | [Ноутбук] | Дедлайн: 27.05.23 23:59 GMT+3
- (extra) Языковые модели (RNN, LSTM) | Дедлайн: 20.06.23 23:59 GMT+3 | это задание не оценивается, но по нему ассистенты дадут развернутый комментарий
Тесты и неоцениваемые теоретические ДЗ
4. Трансформеры
5. Генеративные модели
Возможны изменения в числе тестов в большую сторону
- "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн -
30.04.23 (Вс)02.05.23 (Вт) 20:59 GMT+3 - "Сверточные нейронные сети", выдан 26.06.23, дедлайн - 29.05.23(Пн) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
- Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - 13.06.23 (Вт) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
Возможно будет ещё 1-2 квиза на прочие топики.
- Теоретическое ДЗ-1 "Полносвязные НС" (не оценивается)
За решение теоретических ДЗ возможно будут предусмотрены бонусы
Коллоквиум
Коллоквиум состоится не ранее 14.06 и вероятно будет представлять собой 4-5 задач с письменным ответом на понимание теории Глубинного обучения.
О дополнениях и уточнениях сообщим позже.
Экзамен
Необходимость и возможность пока обсуждаются
Литература
- Гудфеллоу Я. − Глубокое обучение
- Christopher M. Bishop - Pattern Recognition and Machine Learning
- Стивенс Э. - PyTorch. Освещая глубокое обучение
