Глубинное обучение 1 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 38: Строка 38:
 
||  
 
||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=XCL-MnZ96aQ&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/11ZUgWVc8tOt3VsGNBWxfbGLLxYQ4O4hv Ноутбук]] Полносвязные нейронные сети (продолжение) || 19.04.23 || [https://youtu.be/O9JV_Kgd31E Лекция] "Оптимизации нейронных сетей" ||  
+
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=XCL-MnZ96aQ&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/11ZUgWVc8tOt3VsGNBWxfbGLLxYQ4O4hv Ноутбук]] Полносвязные нейронные сети (продолжение) || дата || [https://youtu.be/O9JV_Kgd31E Лекция] "Оптимизации нейронных сетей" ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=6JfHclOcYH8&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/1nkuq29334tLTI5Zk2odCuuBdbPpuNjN2 Ноутбук]] Свёрточные нейронные сети || 26.04.23 ||  
+
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=6JfHclOcYH8&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/1nkuq29334tLTI5Zk2odCuuBdbPpuNjN2 Ноутбук]] Свёрточные нейронные сети || ... ||  
  
 
Лекции Е. Соколова: [https://youtu.be/2fPB3Je7E98 1] (с 54:30) и [https://youtu.be/F53pfjKK0gc 2] или/и
 
Лекции Е. Соколова: [https://youtu.be/2fPB3Je7E98 1] (с 54:30) и [https://youtu.be/F53pfjKK0gc 2] или/и
Строка 47: Строка 47:
 
||
 
||
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=4o2s9XGrkMk&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1jbH8VCPhlv3isy-3Jij8_YvYRG4dHz_H/view?usp=drive_link Ноутбук]] Свёрточные нейронные сети (продолжение) || 10.05.23 || [https://youtu.be/5S5HpbDm7eA Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару
+
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=4o2s9XGrkMk&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1jbH8VCPhlv3isy-3Jij8_YvYRG4dHz_H/view?usp=drive_link Ноутбук]] Свёрточные нейронные сети (продолжение) || ... || [https://youtu.be/5S5HpbDm7eA Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=K6xfrhgNG7o&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[ Ноутбук]] Сегментация и детекция || 19.05.23 || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://youtu.be/gJfDJoLEZIY Лекция Ильдуса] ||  
+
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=K6xfrhgNG7o&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[ Ноутбук]] Сегментация и детекция || ... || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://youtu.be/gJfDJoLEZIY Лекция Ильдуса] ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=6hPOQyGBotY&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1JieJVHmj9greN9XGGuziOK8Y_zVVvycx/view?usp=drive_link Ноутбук]] Нейросетевые векторные представления слов || 26.05.23 || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://youtu.be/WihC2R5lNmg Лекция Ильдуса]||  
+
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=6hPOQyGBotY&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1JieJVHmj9greN9XGGuziOK8Y_zVVvycx/view?usp=drive_link Ноутбук]] Нейросетевые векторные представления слов || ... || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://youtu.be/WihC2R5lNmg Лекция Ильдуса]||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=ck-oEfRpabo&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1MvMfS69FFSrNyIjQhghYYTjLl_nVjJr4/view?usp=drive_link Ноутбук]] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || 31.05.23 || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://youtu.be/Ysj4i2S0D6c Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара
+
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=ck-oEfRpabo&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/file/d/1MvMfS69FFSrNyIjQhghYYTjLl_nVjJr4/view?usp=drive_link Ноутбук]] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || ... || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://youtu.be/Ysj4i2S0D6c Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=YNmafNf1-aM&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/drive/folders/12WxBHcAAvkqsXeNTZxEvREUliFosE7N9?usp=drive_link Папка с ноутбуком, скриптами и данными]] Дистилляция, квантизация, прунинг || 07.06.23 || [https://youtu.be/Jc-wbLCHtns Лекция (Ильдус)] ||  
+
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=YNmafNf1-aM&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/drive/folders/12WxBHcAAvkqsXeNTZxEvREUliFosE7N9?usp=drive_link Папка с ноутбуком, скриптами и данными]] Дистилляция, квантизация, прунинг || ... || [https://youtu.be/Jc-wbLCHtns Лекция (Ильдус)] ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=HJ0eksYQxrc&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]]  || [[https://colab.research.google.com/drive/1x08lOROtbePfECOos5jj5tdJdX3WMRuq?usp=sharing Ноутбук]] Трансформеры 1 || 06.09.23 || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar
+
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=HJ0eksYQxrc&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]]  || [[https://colab.research.google.com/drive/1x08lOROtbePfECOos5jj5tdJdX3WMRuq?usp=sharing Ноутбук]] Трансформеры 1 || ... || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar
 
|-
 
|-
 
|}
 
|}
Строка 65: Строка 65:
  
 
== Домашние задания ==
 
== Домашние задания ==
−
<strike>Инвайт в Anytask: ''...''</strike>
+
<strike>Инвайт в Anytask: ''...''
  
 
# Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: ...'''
 
# Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: ...'''
Строка 80: Строка 80:
  
 
* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>
 
* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>
−
 
−
<strike><small>''За решение теоретических ДЗ возможно будут предусмотрены бонусы''</small></strike>
 
  
  

Версия 20:07, 2 апреля 2024

О курсе

Занятия проводятся в [... Zoom] 'по ...

Контакты

Чат курса в TG: [... channel link]

Преподаватель: Садртдинов Ильдус Рустемович

Ассистенты Контакты
Имя Фамилия [телеграм]
Имя Фамилия [телеграм]
Имя Фамилия [телеграм]

Материалы курса

Ссылка на плейлист курса на YouTube: [...]

Ссылка на GitHub с материалами курса: GitHub (ПМИ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [Запись] [Ноутбук] Полносвязные нейронные сети 12.04.23

Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и

Лекция Ильдуса про полносвязные нейросети.

Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа

2 [Запись] [Ноутбук] Полносвязные нейронные сети (продолжение) дата Лекция "Оптимизации нейронных сетей"
3 [Запись] [Ноутбук] Свёрточные нейронные сети ...

Лекции Е. Соколова: 1 (с 54:30) и 2 или/и

Лекция Ильдуса (с 40:50)

4 [Запись] [Ноутбук] Свёрточные нейронные сети (продолжение) ... Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) Данные к семинару
5 [Запись] Ноутбук Сегментация и детекция ... Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса
6 [Запись] [Ноутбук] Нейросетевые векторные представления слов ... Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса
7 [Запись] [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder ... Лекция Е. Соколова, Лекция Ильдуса Данные к первой части семинара
8 [Запись] [Папка с ноутбуком, скриптами и данными] Дистилляция, квантизация, прунинг ... Лекция (Ильдус)
9 [Запись] [Ноутбук] Трансформеры 1 ... Лекция (Алексей Биршерт) Статьи "The Illustrated Transformer" и Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention), Jay Alammar

Формула оценивания

Оценка = 0.15*Отесты + 0.25*Оэкзамен + 0.6*ОДЗ

Домашние задания

Инвайт в Anytask: ...

  1. Полносвязные нейронные сети
    Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
    Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
    Дедлайн: ...
  2. Свёрточные нейронные сети | [Ноутбук] | Дедлайн: ...
  3. Рекуррентные нейронные сети | Языковые модели (RNN, LSTM) | Дедлайн: ...

Тесты и неоцениваемые теоретические ДЗ

Возможны изменения в числе тестов в большую сторону

  1. "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн - <strike>30.04.23 (Вс) 02.05.23 (Вт) 20:59 GMT+3
  2. "Сверточные нейронные сети", выдан 26.06.23, дедлайн - 29.05.23(Пн) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
  3. Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - 13.06.23 (Вт) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
  4. Трансформеры и BERT, дедлайн: 30.09.23 (Сб), 23:59 (МСК)


Экзамен

...

Литература

  • Гудфеллоу Я. − Глубокое обучение
  • Christopher M. Bishop - Pattern Recognition and Machine Learning
  • Стивенс Э. - PyTorch. Освещая глубокое обучение
Источник — «http://wiki.cs.hse.ru/index.php?title=Глубинное_обучение_1&oldid=84447»