Просмотр исходного текста страницы МОВС Глубинное обучение (ММОВС22, 4-5 модули)

==О курсе==
Занятия проходят по субботам.

У базовой группы с 11:10 по 12:30 по ссылке [https://us06web.zoom.us/j/85850070916?pwd=SBsy14mkf2YUCzlPmnaFzrVVzGYu3e.1 Zoom].

У продвинутой группы с 13:00 по 14:20 по ссылке [https://us06web.zoom.us/j/83441460838?pwd=ZuTW742AyjQaPGEnAw8XJJkpyxRTs6.1 Zoom].

==Контакты==

Канал и чат курса в TG: [https://t.me/+wudNpSb5vmkxMmVi channel link]

Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович

{| class="wikitable"
|-
! Ассистенты !! Контакты 
|-
| style="background:#eaecf0;" | Акимов Тимур || [https://t.me/takimov @takimov]
|-
| style="background:#eaecf0;" | Казюлина Марина || [https://t.me/poemgranate @poemgranate]
|-
| style="background:#eaecf0;" | Никифоров Михаил || [https://t.me/caesiummm @caesiummm]
|-
| style="background:#eaecf0;" | Жирков Фёдор || [https://t.me/ko4osik @ko4osik]
|-
| style="background:#eaecf0;" | Лазарева Анна || [https://t.me/annalzrv @annalzrv]
|}

{| class="wikitable"
|-
! Кураторы !! Контакты 
|-
| style="background:#eaecf0;" | Залесинский Роман || [https://t.me/roman_zalesinskii  @roman_zalesinskii ]
|-
| style="background:#eaecf0;" | Герасимова Мария || [https://t.me/mariya_math @mariya_math]
|}

==Материалы курса==
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI YouTube-playlist]

Ссылка на GitHub с материалами курса: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023 GitHub (ПМИ)]

Ссылка на GDrive c заполненными семинарскими ноутбуками: [https://drive.google.com/drive/u/0/folders/1UaPud4HbH97HREFo2yW6syX63JVMQ33Q GDrive]

{| class="wikitable"
|-
 ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=Dthv3qAb56E Запись (Middle)], [https://www.youtube.com/watch?v=PQMsF3WAot0 Запись (Advanced)]] || [[https://t.me/c/2035805700/6/243 Ноутбук Advanced], [https://t.me/c/2035805700/4/237 Ноутбук Middle]] Полносвязные нейронные сети || 13.04.24 || 
Лекции Е. Соколова с ИАДа: [https://youtu.be/-VH7bIoxYp8?t=160 1] и [https://www.youtube.com/watch?v=g552oCpg-NE 2] (до свёрток) или/и 

[https://www.youtube.com/watch?v=DXZK3rpDp4U&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=1&t=1s Лекция] Ильдуса про полносвязные нейросети.

Почитать можно [https://academy.yandex.ru/handbook/ml/article/nejronnye-seti раздел 5] "Введение в глубинное обучение" в учебнике ШАДа
|| 
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=v4OowpHvoPo Запись (Middle)]] || [[https://t.me/c/2035805700/6/336 Ноутбук Advanced], [https://t.me/c/2035805700/4/334 Ноутбук Middle]] Полносвязные нейронные сети (продолжение) || 20.04.24 || [https://www.youtube.com/watch?v=_RbndAAVMA4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=3 Лекция] "Оптимизации нейронных сетей" || 
|-
| style="background:#eaecf0;" | '''3''' [Запись] || [Ноутбук] Свёрточные нейронные сети || 26.04.23 || 

Лекции Е. Соколова: [https://youtu.be/2fPB3Je7E98 1] (с 54:30) и [https://youtu.be/F53pfjKK0gc 2] или/и

[https://www.youtube.com/watch?v=C__S5v9iObQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=4 Лекция Ильдуса]
||
|-
| style="background:#eaecf0;" | '''4''' [Запись] || [Ноутбук] Свёрточные нейронные сети (продолжение) || 10.05.23 || [https://www.youtube.com/watch?v=NYKiAqT8xXY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=5 Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару
|-
| style="background:#eaecf0;" | '''5''' [Запись] || [Ноутбук] Сегментация и детекция || 19.05.23 || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://www.youtube.com/watch?v=GGFSKLPKeL4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=6 Лекция Ильдуса] || 
|-
| style="background:#eaecf0;" | '''6''' [Запись] || [Ноутбук] Нейросетевые векторные представления слов || 26.05.23 || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://www.youtube.com/watch?v=pLFnqfvM7No&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=7 Лекция Ильдуса]|| 
|-
| style="background:#eaecf0;" | '''7''' [Запись] || [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || 31.05.23 || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://www.youtube.com/watch?v=sXWwrz4v2OQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=8 Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара
|-
| style="background:#eaecf0;" | '''8''' [Запись] || [Ноутбук] Дистилляция, квантизация, прунинг || 07.06.23 || [https://www.youtube.com/watch?v=rW6hQloci7M&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=12 Лекция (Ильдус)] || 
|-
| Конец первой части курса |
|-
| style="background:#eaecf0;" | '''9''' [Запись]  || [Ноутбук] Трансформеры 1 || 06.09.23 || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)], [https://www.youtube.com/watch?v=x5bIzeIPdvI&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=9 Лекция Ильдуса] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar
|-
| style="background:#eaecf0;" | '''10''' [Запись] || [Ноутбук] Трансформеры 2 (BERT) || 13.09.23 || [https://www.youtube.com/watch?v=XEZBwLRPDBY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=10 Лекция Ильдуса] || [https://colab.research.google.com/github/phlippe/uvadlc_notebooks/blob/master/docs/tutorial_notebooks/tutorial17/SimCLR.ipynb Ноутбук про SimCLR] для интересующихся
|-
| style="background:#eaecf0;" | '''11''' [Запись] || [Ноутбук], [https://t.me/c/1924418355/68 PDF-ка]] Генеративно-состязательные сети (GANs) || 20.09.23 || [https://www.youtube.com/watch?v=EbuW6AFAfho&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=13 Лекция Ильдуса] || [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html Туториал от торча] по GAN'ам для картинок
|-
| style="background:#eaecf0;" | '''12''' [Запись] || [Ноутбук] (Вариационные) автокодировщики [(V)AEs] || 27.09.23 || [https://www.youtube.com/watch?v=KiwaAQBYbCI&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=14 Лекция Ильдуса] || [https://distill.pub/2016/deconv-checkerboard/ Блог-пост про свёртки]
|-
| style="background:#eaecf0;" | '''13''' [Запись] || [Ноутбук] Нормализационные потоки (NFs), ''Гущин Михаил'' || 04.10.23 || [https://youtu.be/aj1U36E_RZE Лекция] || 
|-
| style="background:#eaecf0;" | '''14''' [Запись] || [Ноутбук] Диффузионные модели (Diffusion), ''Гущин Михаил'' || 11.10.23 || [https://youtu.be/z7QH-WWHmfE Лекция], [https://www.youtube.com/watch?v=H0fczcpFbpg&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=15 Лекция Ильдуса] ||
|-
| style="background:#eaecf0;" | '''15''' [Запись] || [Ноутбук] Style Transfer, Deep Fakes & Supurresolution Tasks, ''Гущин Михаил'' || 18.10.23 || [https://www.youtube.com/watch?v=GRJ84i2z_7A Лекция] || 
|-
|}

==Формула оценивания==
Оценка  0.15*Тесты + 0.25*Письменный коллоквиум + 0.6*ДЗ

Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75

== Домашние задания ==
Инвайт в Anytask: ''UZppWJ0''

* Домашнее задание 1 - Дедлайн: 08.05.2024
Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''
* Домашнее задание 2 - Дедлайн: 26.05.2024
* Домашнее задание 3 - Дедлайн: 09.06.2024

== Тесты и неоцениваемые теоретические ДЗ ==
''Возможны изменения в числе тестов в б'''о'''льшую сторону''

# [https://addonforge.com/timer/1FAIpQLSfv0YfUZ6zcI1CY05QjoZQDoNqKwzTGDAOlNuV0t4uN2JalIg "Полносвязные нейронные сети. Введение в pytorch"], выдан 27.04.23, '''дедлайн - '''<strike>30.04.23 (Вс)</strike> '''02.05.23 (Вт) 20:59 GMT+3'''
# [https://docs.google.com/forms/d/e/1FAIpQLSeTMDj-gPfAgKFtG-2zXKvPB6RRuYYu7kgQNEnVwhMXOEoGrw/viewform?usp=sf_link "Сверточные нейронные сети"], выдан 26.06.23, '''дедлайн - 29.05.23(Пн) 23:59 GMT+3''', ''досдать можно со штрафом в 2 балла до 20.06''
# [https://docs.google.com/forms/d/e/1FAIpQLSciENvCmNFJOusYOQzrP86gNDjOsEF4S-WaE72YLQWV4FiU-w/viewform?usp=sf_link Векторные представления текстов. RNN, LSTM], выдан 09.06.23, '''дедлайн - 13.06.23 (Вт) 23:59 GMT+3''', ''досдать можно со штрафом в 2 балла до 20.06''
# [https://forms.gle/HrU5gZhfox1pGMi5A Трансформеры и BERT], '''дедлайн: 30.09.23 (Сб), 23:59 (МСК)'''<br/>
# [https://docs.google.com/forms/d/e/1FAIpQLSfkhxlMrO-5N3UKx-YOIu6QKyjjCha_1SVhHjW7ylmmJrVlpw/viewform?usp=sf_link GANs + VAEs], '''дедлайн: 10.10.23 (Вт), 23:59 (МСК)''' <br/> 
# Normalizing Flows + Diffusion 

<small>''Возможно будет ещё 1-2 квиза на прочие топики.''</small>

* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>

<strike><small>''За решение теоретических ДЗ возможно будут предусмотрены бонусы''</small></strike>

== Коллоквиум ==
Коллоквиум состоится ''не ранее 14.06'' и ''вероятно'' будет представлять собой 4-5 задач с письменным ответом на понимание теории Глубинного обучения.

О дополнениях и уточнениях сообщим позже.

== Экзамен ==
Экзамен будет устный, пройдет в сессию 5-го модуля. Будет состоять из вопросов по трансформерам и генеративным моделям, а также материалам первой части курса. 

''С прочими уточнениями вернемся позднее''

== Литература ==
* Гудфеллоу Я. − Глубокое обучение 
* Christopher M. Bishop - Pattern Recognition and Machine Learning
* Стивенс Э. - PyTorch. Освещая глубокое обучение