Глубинное обучение 1 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(wip)
(не показано 9 промежуточных версии этого же участника)
Строка 1: Строка 1:
 
==О курсе==
 
==О курсе==
−
Занятия проводятся в [... Zoom] '''по ...''
+
Занятия проходят по субботам.
 +
 
 +
У базовой группы с 11:10 по 12:30 по ссылке [https://us06web.zoom.us/j/85850070916?pwd=SBsy14mkf2YUCzlPmnaFzrVVzGYu3e.1 Zoom].
 +
 
 +
У продвинутой группы с 13:00 по 14:20 по ссылке [https://us06web.zoom.us/j/83441460838?pwd=ZuTW742AyjQaPGEnAw8XJJkpyxRTs6.1 Zoom].
  
 
==Контакты==
 
==Контакты==
  
−
Чат курса в TG: [... channel link]
+
Канал и чат курса в TG: [https://t.me/+wudNpSb5vmkxMmVi channel link]
  
−
Преподаватель: Садртдинов Ильдус Рустемович
+
Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович
  
 
{| class="wikitable"
 
{| class="wikitable"
Строка 12: Строка 16:
 
! Ассистенты !! Контакты  
 
! Ассистенты !! Контакты  
 
|-
 
|-
−
| style="background:#eaecf0;" | Имя Фамилия || [телеграм]
+
| style="background:#eaecf0;" | Акимов Тимур || [https://t.me/takimov @takimov]
 
|-
 
|-
−
| style="background:#eaecf0;" | Имя Фамилия || [телеграм]
+
| style="background:#eaecf0;" | Казюлина Марина || [https://t.me/poemgranate @poemgranate]
 
|-
 
|-
−
| style="background:#eaecf0;" | Имя Фамилия || [телеграм]
+
| style="background:#eaecf0;" | Никифоров Михаил || [https://t.me/caesiummm @caesiummm]
 +
|-
 +
| style="background:#eaecf0;" | Жирков Фёдор || [https://t.me/ko4osik @ko4osik]
 +
|-
 +
| style="background:#eaecf0;" | Лазарева Анна || [https://t.me/annalzrv @annalzrv]
 +
|}
 +
 
 +
{| class="wikitable"
 +
|-
 +
! Кураторы !! Контакты
 +
|-
 +
| style="background:#eaecf0;" | Залесинский Роман || [https://t.me/roman_zalesinskii  @roman_zalesinskii ]
 +
|-
 +
| style="background:#eaecf0;" | Герасимова Мария || [https://t.me/mariya_math @mariya_math]
 
|}
 
|}
  
 
==Материалы курса==
 
==Материалы курса==
−
Ссылка на плейлист курса на YouTube: [...]
+
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI YouTube-playlist]
−
 
+
−
Ссылка на курс на Stepik: [... Stepik]
+
  
 
Ссылка на GitHub с материалами курса: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023 GitHub (ПМИ)]
 
Ссылка на GitHub с материалами курса: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023 GitHub (ПМИ)]
  
 
Ссылка на GDrive c заполненными семинарскими ноутбуками: [https://drive.google.com/drive/u/0/folders/1UaPud4HbH97HREFo2yW6syX63JVMQ33Q GDrive]
 
Ссылка на GDrive c заполненными семинарскими ноутбуками: [https://drive.google.com/drive/u/0/folders/1UaPud4HbH97HREFo2yW6syX63JVMQ33Q GDrive]
 +
 +
Ссылка на stepik c : [https://stepik.org/course/179805/promo#toc stepik]
  
 
{| class="wikitable"
 
{| class="wikitable"
Строка 32: Строка 49:
 
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
 
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=MLzJEXD33hw&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/11ZUgWVc8tOt3VsGNBWxfbGLLxYQ4O4hv Ноутбук]] Полносвязные нейронные сети || дата ||  
+
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=Dthv3qAb56E Запись (Middle)], [https://www.youtube.com/watch?v=PQMsF3WAot0 Запись (Advanced)]] || [[https://t.me/c/2035805700/6/243 Ноутбук Advanced], [https://t.me/c/2035805700/4/237 Ноутбук Middle]] Полносвязные нейронные сети || 13.04.24 ||  
 
Лекции Е. Соколова с ИАДа: [https://youtu.be/-VH7bIoxYp8?t=160 1] и [https://www.youtube.com/watch?v=g552oCpg-NE 2] (до свёрток) или/и  
 
Лекции Е. Соколова с ИАДа: [https://youtu.be/-VH7bIoxYp8?t=160 1] и [https://www.youtube.com/watch?v=g552oCpg-NE 2] (до свёрток) или/и  
  
−
[https://www.youtube.com/watch?v=g552oCpg-NE Лекция] Ильдуса про полносвязные нейросети.
+
[https://www.youtube.com/watch?v=DXZK3rpDp4U&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=1&t=1s Лекция] Ильдуса про полносвязные нейросети.
  
 
Почитать можно [https://academy.yandex.ru/handbook/ml/article/nejronnye-seti раздел 5] "Введение в глубинное обучение" в учебнике ШАДа
 
Почитать можно [https://academy.yandex.ru/handbook/ml/article/nejronnye-seti раздел 5] "Введение в глубинное обучение" в учебнике ШАДа
 
||  
 
||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=XCL-MnZ96aQ&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/11ZUgWVc8tOt3VsGNBWxfbGLLxYQ4O4hv Ноутбук]] Полносвязные нейронные сети (продолжение) || ... || [https://youtu.be/O9JV_Kgd31E Лекция] "Оптимизации нейронных сетей" ||  
+
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=v4OowpHvoPo Запись (Middle)]] || [[https://t.me/c/2035805700/6/336 Ноутбук Advanced], [https://t.me/c/2035805700/4/334 Ноутбук Middle]] Полносвязные нейронные сети (продолжение) || 20.04.24 || [https://www.youtube.com/watch?v=_RbndAAVMA4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=3 Лекция] "Оптимизации нейронных сетей" ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=6JfHclOcYH8&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/1nkuq29334tLTI5Zk2odCuuBdbPpuNjN2 Ноутбук]] Свёрточные нейронные сети || ... ||  
+
| style="background:#eaecf0;" | '''3''' [Запись] || [Ноутбук] Свёрточные нейронные сети || 26.04.23 ||  
  
 
Лекции Е. Соколова: [https://youtu.be/2fPB3Je7E98 1] (с 54:30) и [https://youtu.be/F53pfjKK0gc 2] или/и
 
Лекции Е. Соколова: [https://youtu.be/2fPB3Je7E98 1] (с 54:30) и [https://youtu.be/F53pfjKK0gc 2] или/и
  
−
[https://youtu.be/xa69n0yCid8 Лекция Ильдуса] (с 40:50)
+
[https://www.youtube.com/watch?v=C__S5v9iObQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=4 Лекция Ильдуса]
 
||
 
||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=4o2s9XGrkMk&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1jbH8VCPhlv3isy-3Jij8_YvYRG4dHz_H/view?usp=drive_link Ноутбук]] Свёрточные нейронные сети (продолжение) || ... || [https://youtu.be/5S5HpbDm7eA Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару
+
| style="background:#eaecf0;" | '''4''' [Запись] || [Ноутбук] Свёрточные нейронные сети (продолжение) || 10.05.23 || [https://www.youtube.com/watch?v=NYKiAqT8xXY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=5 Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=K6xfrhgNG7o&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[ Ноутбук]] Сегментация и детекция || ... || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://youtu.be/gJfDJoLEZIY Лекция Ильдуса] ||  
+
| style="background:#eaecf0;" | '''5''' [Запись] || [Ноутбук] Сегментация и детекция || 19.05.23 || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://www.youtube.com/watch?v=GGFSKLPKeL4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=6 Лекция Ильдуса] ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=6hPOQyGBotY&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1JieJVHmj9greN9XGGuziOK8Y_zVVvycx/view?usp=drive_link Ноутбук]] Нейросетевые векторные представления слов || ... || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://youtu.be/WihC2R5lNmg Лекция Ильдуса]||  
+
| style="background:#eaecf0;" | '''6''' [Запись] || [Ноутбук] Нейросетевые векторные представления слов || 26.05.23 || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://www.youtube.com/watch?v=pLFnqfvM7No&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=7 Лекция Ильдуса]||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=ck-oEfRpabo&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1MvMfS69FFSrNyIjQhghYYTjLl_nVjJr4/view?usp=drive_link Ноутбук]] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || ... || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://youtu.be/Ysj4i2S0D6c Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара
+
| style="background:#eaecf0;" | '''7''' [Запись] || [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || 31.05.23 || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://www.youtube.com/watch?v=sXWwrz4v2OQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=8 Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара
−
|-
+
−
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=YNmafNf1-aM&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/drive/folders/12WxBHcAAvkqsXeNTZxEvREUliFosE7N9?usp=drive_link Папка с ноутбуком, скриптами и данными]] Дистилляция, квантизация, прунинг || ... || [https://youtu.be/Jc-wbLCHtns Лекция (Ильдус)] ||
+
−
|-
+
−
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=HJ0eksYQxrc&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]]  || [[https://colab.research.google.com/drive/1x08lOROtbePfECOos5jj5tdJdX3WMRuq?usp=sharing Ноутбук]] Трансформеры 1 || ... || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar
+
 
|-
 
|-
 +
| style="background:#eaecf0;" | '''8''' [Запись] || [Ноутбук] Дистилляция, квантизация, прунинг || 07.06.23 || [https://www.youtube.com/watch?v=rW6hQloci7M&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=12 Лекция (Ильдус)] ||
 
|}
 
|}
  
 
==Формула оценивания==
 
==Формула оценивания==
−
Оценка  = 0.15*О<sub>Stepik</sub> + 0.25*О<sub>экзамен</sub> + 0.6*О<sub>ДЗ</sub>
+
Оценка  0.15*Тесты + 0.25*Письменный коллоквиум + 0.6*ДЗ
  
−
== Домашние задания ==
+
Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75
−
Инвайт в Anytask: ''...''
+
  
−
# Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: ...'''
+
'''Дедлайн по Степику: 15.06.2024'''
−
# Свёрточные нейронные сети | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb Ноутбук]] | '''Дедлайн: ...'''
+
−
# Рекуррентные нейронные сети | [https://drive.google.com/drive/folders/1cB7C0MlqRU-LdYsASP2Uy_gD-kbwx0Fg?usp=drive_link Языковые модели (RNN, LSTM)] | '''Дедлайн: ...'''
+
  
−
== Тесты и неоцениваемые теоретические ДЗ ==
+
== Домашние задания ==
−
''Возможны изменения в числе тестов в б'''о'''льшую сторону''
+
Инвайт в Anytask: ''UZppWJ0''
  
−
# [https://addonforge.com/timer/1FAIpQLSfv0YfUZ6zcI1CY05QjoZQDoNqKwzTGDAOlNuV0t4uN2JalIg "Полносвязные нейронные сети. Введение в pytorch"], выдан 27.04.23, '''дедлайн - ...'''
+
# Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: 08.05.2024'''
−
# [https://docs.google.com/forms/d/e/1FAIpQLSeTMDj-gPfAgKFtG-2zXKvPB6RRuYYu7kgQNEnVwhMXOEoGrw/viewform?usp=sf_link "Сверточные нейронные сети"], выдан 26.06.23, '''дедлайн - ...'''
+
# Свёрточные нейронные сети | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb Ноутбук]] | '''Дедлайн: 26.05.2024'''
−
# [https://docs.google.com/forms/d/e/1FAIpQLSciENvCmNFJOusYOQzrP86gNDjOsEF4S-WaE72YLQWV4FiU-w/viewform?usp=sf_link Векторные представления текстов. RNN, LSTM], выдан 09.06.23, '''дедлайн - ...'''
+
# Рекуррентные нейронные сети | [https://drive.google.com/drive/folders/1cB7C0MlqRU-LdYsASP2Uy_gD-kbwx0Fg?usp=drive_link Языковые модели (RNN, LSTM)] | '''Дедлайн: 09.06.2024'''
−
# [https://forms.gle/HrU5gZhfox1pGMi5A Трансформеры и BERT], '''дедлайн - ...'''<br/>
+
  
−
* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>
+
== Тесты и неоцениваемые теоретические ДЗ ==
  
 +
...
  
 
== Экзамен ==
 
== Экзамен ==

Версия 21:50, 22 апреля 2024

О курсе

Занятия проходят по субботам.

У базовой группы с 11:10 по 12:30 по ссылке Zoom.

У продвинутой группы с 13:00 по 14:20 по ссылке Zoom.

Контакты

Канал и чат курса в TG: channel link

Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович

Ассистенты Контакты
Акимов Тимур @takimov
Казюлина Марина @poemgranate
Никифоров Михаил @caesiummm
Жирков Фёдор @ko4osik
Лазарева Анна @annalzrv
Кураторы Контакты
Залесинский Роман @roman_zalesinskii
Герасимова Мария @mariya_math

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub (ПМИ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive

Ссылка на stepik c : stepik

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [Запись (Middle), Запись (Advanced)] [Ноутбук Advanced, Ноутбук Middle] Полносвязные нейронные сети 13.04.24

Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и

Лекция Ильдуса про полносвязные нейросети.

Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа

2 [Запись (Middle)] [Ноутбук Advanced, Ноутбук Middle] Полносвязные нейронные сети (продолжение) 20.04.24 Лекция "Оптимизации нейронных сетей"
3 [Запись] [Ноутбук] Свёрточные нейронные сети 26.04.23

Лекции Е. Соколова: 1 (с 54:30) и 2 или/и

Лекция Ильдуса

4 [Запись] [Ноутбук] Свёрточные нейронные сети (продолжение) 10.05.23 Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) Данные к семинару
5 [Запись] [Ноутбук] Сегментация и детекция 19.05.23 Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса
6 [Запись] [Ноутбук] Нейросетевые векторные представления слов 26.05.23 Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса
7 [Запись] [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder 31.05.23 Лекция Е. Соколова, Лекция Ильдуса Данные к первой части семинара
8 [Запись] [Ноутбук] Дистилляция, квантизация, прунинг 07.06.23 Лекция (Ильдус)

Формула оценивания

Оценка 0.15*Тесты + 0.25*Письменный коллоквиум + 0.6*ДЗ

Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75

Дедлайн по Степику: 15.06.2024

Домашние задания

Инвайт в Anytask: UZppWJ0

  1. Полносвязные нейронные сети
    Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
    Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
    Дедлайн: 08.05.2024
  2. Свёрточные нейронные сети | [Ноутбук] | Дедлайн: 26.05.2024
  3. Рекуррентные нейронные сети | Языковые модели (RNN, LSTM) | Дедлайн: 09.06.2024

Тесты и неоцениваемые теоретические ДЗ

...

Экзамен

...

Литература

  • Гудфеллоу Я. − Глубокое обучение
  • Christopher M. Bishop - Pattern Recognition and Machine Learning
  • Стивенс Э. - PyTorch. Освещая глубокое обучение
Источник — «http://wiki.cs.hse.ru/index.php?title=Глубинное_обучение_1&oldid=84809»