МОВС Глубинное обучение (ММОВС22, 4-5 модули) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (add Zoom link)
м (add Anytask invite)
Строка 81: Строка 81:
  
 
==Формула оценивания==
 
==Формула оценивания==
−
<big>Оценка за 5-й модуль = 0.15*О<sub>тесты</sub> + 0.25*О<sub>экзамен</sub> + 0.6*О<sub>ДЗ</sub></big> (''уточняется'')
+
<big>Оценка за 5-й модуль = 0.15*О<sub>тесты</sub> + 0.25*О<sub>экзамен</sub> + 0.6*О<sub>ДЗ</sub></big>
  
 
<small>Оценка за 4-й модуль = 0.15*О<sub>тесты</sub> + 0.25*О<sub>письменный коллоквиум</sub> + 0.6*О<sub>ДЗ</sub></small>
 
<small>Оценка за 4-й модуль = 0.15*О<sub>тесты</sub> + 0.25*О<sub>письменный коллоквиум</sub> + 0.6*О<sub>ДЗ</sub></small>
  
 
== Домашние задания ==
 
== Домашние задания ==
−
Инвайт в Anytask: ''DiXQURj''
+
Инвайт в [https://anytask.org/course/1038 Anytask] второй части курса: <code>osqfLbw</code>
  
 
<big>3. Трансформеры | [[ Ноутбук]] | '''Дедлайн: ''' <br/>
 
<big>3. Трансформеры | [[ Ноутбук]] | '''Дедлайн: ''' <br/>
Строка 92: Строка 92:
  
 
# <small>Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: 06.05.23 (Сб) 23:59 GMT+3'''</small>
 
# <small>Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: 06.05.23 (Сб) 23:59 GMT+3'''</small>
 +
 +
<strike>Инвайт в Anytask: ''DiXQURj''</strike>
 +
 
# <small>Свёрточные нейронные сети | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb Ноутбук]] | '''Дедлайн: 27.05.23 23:59 GMT+3'''</small>
 
# <small>Свёрточные нейронные сети | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb Ноутбук]] | '''Дедлайн: 27.05.23 23:59 GMT+3'''</small>
  
Строка 110: Строка 113:
 
* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>
 
* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>
  
−
''За решение теоретических ДЗ возможно будут предусмотрены бонусы''
+
<strike><small>''За решение теоретических ДЗ возможно будут предусмотрены бонусы''</small></strike>
  
 
== Коллоквиум ==
 
== Коллоквиум ==
Строка 118: Строка 121:
  
 
== Экзамен ==
 
== Экзамен ==
−
Необходимость и возможность пока обсуждаются
+
Экзамен будет устный, пройдет в сессию 5-го модуля. Будет состоять из вопросов по трансформерам и генеративным моделям, а также материалам первой части курса.
 +
 
 +
''С прочими уточнениями вернемся позднее''
  
 
== Литература ==
 
== Литература ==

Версия 16:56, 3 сентября 2023

О курсе

Занятия в 5-м модуле проводятся в Zoom по средам в 18:00

Занятия в 4-м модуле проводились в Zoom по средам в 19:00

Контакты

Канал курса в TG: channel link

Чат курса в TG: chat link

Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович

Ассистенты Контакты
Марк Блуменау @markblumenau
Илья Никитин @is_nikitin
Кирилл Козлов @dedpe

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub (ПМИ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [Запись] [Ноутбук] Полносвязные нейронные сети 12.04.23

Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и

Лекция Ильдуса про полносвязные нейросети.

Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа

2 [Запись] [Ноутбук] Полносвязные нейронные сети (продолжение) 19.04.23 Лекция "Оптимизации нейронных сетей"
3 [Запись] [Ноутбук] Свёрточные нейронные сети 26.04.23

Лекции Е. Соколова: 1 (с 54:30) и 2 или/и

Лекция Ильдуса (с 40:50)

4 [Запись] [Ноутбук] Свёрточные нейронные сети (продолжение) 10.05.23 Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) Данные к семинару
5 [Запись] Ноутбук Сегментация и детекция 19.05.23 Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса
6 [Запись] [Ноутбук] Нейросетевые векторные представления слов 26.05.23 Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса
7 [Запись] [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder 31.05.23 Лекция Е. Соколова, Лекция Ильдуса Данные к первой части семинара
8 [Запись] [Папка с ноутбуком, скриптами и данными] Дистилляция, квантизация, прунинг 07.06.23 Лекция (Ильдус)
9 Запись Ноутбук Трансформеры 1 06.09.23 Лекция
10 Запись Ноутбук Трансформеры 2 13.09.23 Лекция
11 Запись Ноутбук Генеративно-состязательные сети (GANs) 20.09.23 Лекция
12 Запись Ноутбук (Вариационные) автокодировщики [(V)AEs] 27.09.23 Лекция
13 Запись Ноутбук Нормализационные потоки (NFs), Гущин Михаил 04.10.23 Лекция
14 Запись Ноутбук Диффузионные модели (Diffusion), Гущин Михаил 11.10.23 Лекция
15 Запись Ноутбук Style Transfer, Deep Fakes & Supurresolution Tasks, Гущин Михаил 18.10.23 Лекция

Формула оценивания

Оценка за 5-й модуль = 0.15*Отесты + 0.25*Оэкзамен + 0.6*ОДЗ

Оценка за 4-й модуль = 0.15*Отесты + 0.25*Описьменный коллоквиум + 0.6*ОДЗ

Домашние задания

Инвайт в Anytask второй части курса: osqfLbw

3. Трансформеры | Ноутбук | Дедлайн:
4. Генеративные модели | Ноутбук | Дедлайн:

  1. Полносвязные нейронные сети
    Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
    Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
    Дедлайн: 06.05.23 (Сб) 23:59 GMT+3

Инвайт в Anytask: DiXQURj

  1. Свёрточные нейронные сети | [Ноутбук] | Дедлайн: 27.05.23 23:59 GMT+3
  • (extra) Языковые модели (RNN, LSTM) | Дедлайн: 20.06.23 23:59 GMT+3 | это задание не оценивается, но по нему ассистенты дадут развернутый комментарий

Тесты и неоцениваемые теоретические ДЗ

4. Трансформеры
5. Генеративные модели

Возможны изменения в числе тестов в большую сторону

  1. "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн - 30.04.23 (Вс) 02.05.23 (Вт) 20:59 GMT+3
  2. "Сверточные нейронные сети", выдан 26.06.23, дедлайн - 29.05.23(Пн) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
  3. Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - 13.06.23 (Вт) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06

Возможно будет ещё 1-2 квиза на прочие топики.

За решение теоретических ДЗ возможно будут предусмотрены бонусы

Коллоквиум

Коллоквиум состоится не ранее 14.06 и вероятно будет представлять собой 4-5 задач с письменным ответом на понимание теории Глубинного обучения.

О дополнениях и уточнениях сообщим позже.

Экзамен

Экзамен будет устный, пройдет в сессию 5-го модуля. Будет состоять из вопросов по трансформерам и генеративным моделям, а также материалам первой части курса.

С прочими уточнениями вернемся позднее

Литература

  • Гудфеллоу Я. − Глубокое обучение
  • Christopher M. Bishop - Pattern Recognition and Machine Learning
  • Стивенс Э. - PyTorch. Освещая глубокое обучение
Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Глубинное_обучение_(ММОВС22,_4-5_модули)&oldid=78957»