Глубинное обучение 1 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 56: Строка 56:
 
|-
 
|-
 
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=YNmafNf1-aM&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/drive/folders/12WxBHcAAvkqsXeNTZxEvREUliFosE7N9?usp=drive_link Папка с ноутбуком, скриптами и данными]] Дистилляция, квантизация, прунинг || 07.06.23 || [https://youtu.be/Jc-wbLCHtns Лекция (Ильдус)] ||  
 
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=YNmafNf1-aM&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://drive.google.com/drive/folders/12WxBHcAAvkqsXeNTZxEvREUliFosE7N9?usp=drive_link Папка с ноутбуком, скриптами и данными]] Дистилляция, квантизация, прунинг || 07.06.23 || [https://youtu.be/Jc-wbLCHtns Лекция (Ильдус)] ||  
−
|-
 
−
| Конец первой части курса |
 
 
|-
 
|-
 
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=HJ0eksYQxrc&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]]  || [[https://colab.research.google.com/drive/1x08lOROtbePfECOos5jj5tdJdX3WMRuq?usp=sharing Ноутбук]] Трансформеры 1 || 06.09.23 || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar
 
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=HJ0eksYQxrc&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]]  || [[https://colab.research.google.com/drive/1x08lOROtbePfECOos5jj5tdJdX3WMRuq?usp=sharing Ноутбук]] Трансформеры 1 || 06.09.23 || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar
−
|-
 
−
| style="background:#eaecf0;" | '''10''' [[https://www.youtube.com/watch?v=kqYh4jrPoiw&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/drive/1N59flbXHCuRWi9Q_2s6QL2YiThMd-2e8?usp=sharing Ноутбук]] Трансформеры 2 (BERT) || 13.09.23 || [https://youtu.be/VpfqcP8HRmQ Лекция Ильдуса] || [https://colab.research.google.com/github/phlippe/uvadlc_notebooks/blob/master/docs/tutorial_notebooks/tutorial17/SimCLR.ipynb Ноутбук про SimCLR] для интересующихся
 
−
|-
 
−
| style="background:#eaecf0;" | '''11''' [[https://www.youtube.com/watch?v=QvixMy_t5ew&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/202/seminar-12-adversarial.ipynb Ноутбук], [https://t.me/c/1924418355/68 PDF-ка]] Генеративно-состязательные сети (GANs) || 20.09.23 || [https://youtu.be/banZhpreS2Y Лекция Ильдуса] || [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html Туториал от торча] по GAN'ам для картинок
 
−
|-
 
−
| style="background:#eaecf0;" | '''12''' [[https://www.youtube.com/watch?v=mznZ7VtIaPA&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://t.me/c/1924418355/73 Ноутбук]] (Вариационные) автокодировщики [(V)AEs] || 27.09.23 || [https://www.youtube.com/watch?v=sscXFM9jcHA Лекция Ильдуса] || [https://distill.pub/2016/deconv-checkerboard/ Блог-пост про свёртки]
 
−
|-
 
−
| style="background:#eaecf0;" | '''13''' [[https://www.youtube.com/watch?v=LTda9ySxoxI&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/github/hse-ds/iad-applied-ds/blob/master/2023/seminars/sem02_flow/sem02_1_flow.ipynb Ноутбук]] Нормализационные потоки (NFs), ''Гущин Михаил'' || 04.10.23 || [https://youtu.be/aj1U36E_RZE Лекция] ||
 
−
|-
 
−
| style="background:#eaecf0;" | '''14''' [[https://www.youtube.com/watch?v=LJOjv0CeCWA&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/github/hse-ds/iad-applied-ds/blob/master/2023/seminars/sem03_diffusion/sem03_diffusions.ipynb Ноутбук]] Диффузионные модели (Diffusion), ''Гущин Михаил'' || 11.10.23 || [https://youtu.be/z7QH-WWHmfE Лекция] ||
 
−
|-
 
−
| style="background:#eaecf0;" | '''15''' [[https://www.youtube.com/watch?v=J_o_mZm9BLg&list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI Запись]] || [[https://colab.research.google.com/github/hse-ds/iad-applied-ds/blob/master/2022/seminars/sem01/sem01-neural-style.ipynb Ноутбук]] Style Transfer, Deep Fakes & Supurresolution Tasks, ''Гущин Михаил'' || 18.10.23 || [https://www.youtube.com/watch?v=GRJ84i2z_7A Лекция] ||
 
 
|-
 
|-
 
|}
 
|}
  
 
==Формула оценивания==
 
==Формула оценивания==
−
Оценка за 4-й модуль = 0.15*О<sub>тесты</sub> + 0.25*О<sub>письменный коллоквиум</sub> + 0.6*О<sub>ДЗ</sub>
+
Оценка = 0.15*О<sub>тесты</sub> + 0.25*О<sub>экзамен</sub> + 0.6*О<sub>ДЗ</sub>
−
 
+
−
Оценка за 5-й модуль = 0.15*О<sub>тесты</sub> + 0.25*О<sub>экзамен</sub> + 0.6*О<sub>ДЗ</sub>
+
  
 
== Домашние задания ==
 
== Домашние задания ==
−
<strike>Инвайт в Anytask: ''DiXQURj''</strike>
+
<strike>Инвайт в Anytask: ''...''</strike>
  
−
# Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: 06.05.23 (Сб) 23:59 GMT+3'''
+
# Полносвязные нейронные сети <br/> Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp Материалы]] <br/> Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb Ноутбук]] <br/> '''Дедлайн: ...'''
−
# Свёрточные нейронные сети | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb Ноутбук]] | '''Дедлайн: 27.05.23 23:59 GMT+3'''
+
# Свёрточные нейронные сети | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb Ноутбук]] | '''Дедлайн: ...'''
−
 
+
# Рекуррентные нейронные сети | [https://drive.google.com/drive/folders/1cB7C0MlqRU-LdYsASP2Uy_gD-kbwx0Fg?usp=drive_link Языковые модели (RNN, LSTM)] | '''Дедлайн: ...'''
−
* (''extra'') [https://drive.google.com/drive/folders/1cB7C0MlqRU-LdYsASP2Uy_gD-kbwx0Fg?usp=drive_link Языковые модели (RNN, LSTM)] | '''Дедлайн: 20.06.23 23:59 GMT+3''' | ''это задание не оценивается, но по нему ассистенты дадут развернутый комментарий''
+
−
 
+
−
Инвайт в [https://anytask.org/course/1038 Anytask] второй части курса: <code>osqfLbw</code>
+
−
 
+
−
3.1) Языковое моделирование | [[https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-03-rnn Ноутбук]] ИЛИ <br/> 3.2) Предсказание оценки отеля по тексту отзыва | [[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2021-2022/homeworks/homework-03-text.ipynb Ноутбук]] <br/> '''Дедлайн: 01.10.23 (Вс), 23:59 (МСК)''' <br/> <br/>
+
−
4. Генеративные модели | [[https://github.com/hse-mlds/deep-learning/blob/main/HWs/HW2_GenModels/HW2_GenModels.ipynb Ноутбук]] | '''ЖЁСТКИЙ Дедлайн: 23.10.23 (Пн), 23:59 (МСК)'''
+
−
<br />
+
−
<br/>
+
  
 
== Тесты и неоцениваемые теоретические ДЗ ==
 
== Тесты и неоцениваемые теоретические ДЗ ==
Строка 102: Строка 78:
 
# [https://docs.google.com/forms/d/e/1FAIpQLSciENvCmNFJOusYOQzrP86gNDjOsEF4S-WaE72YLQWV4FiU-w/viewform?usp=sf_link Векторные представления текстов. RNN, LSTM], выдан 09.06.23, '''дедлайн - 13.06.23 (Вт) 23:59 GMT+3''', ''досдать можно со штрафом в 2 балла до 20.06''
 
# [https://docs.google.com/forms/d/e/1FAIpQLSciENvCmNFJOusYOQzrP86gNDjOsEF4S-WaE72YLQWV4FiU-w/viewform?usp=sf_link Векторные представления текстов. RNN, LSTM], выдан 09.06.23, '''дедлайн - 13.06.23 (Вт) 23:59 GMT+3''', ''досдать можно со штрафом в 2 балла до 20.06''
 
# [https://forms.gle/HrU5gZhfox1pGMi5A Трансформеры и BERT], '''дедлайн: 30.09.23 (Сб), 23:59 (МСК)'''<br/>
 
# [https://forms.gle/HrU5gZhfox1pGMi5A Трансформеры и BERT], '''дедлайн: 30.09.23 (Сб), 23:59 (МСК)'''<br/>
−
# [https://docs.google.com/forms/d/e/1FAIpQLSfkhxlMrO-5N3UKx-YOIu6QKyjjCha_1SVhHjW7ylmmJrVlpw/viewform?usp=sf_link GANs + VAEs], '''дедлайн: 10.10.23 (Вт), 23:59 (МСК)''' <br/>
 
−
# Normalizing Flows + Diffusion
 
−
 
−
<small>''Возможно будет ещё 1-2 квиза на прочие топики.''</small>
 
  
 
* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>
 
* <small>[https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf Теоретическое ДЗ-1] "Полносвязные НС" (не оценивается)</small>

Версия 20:05, 2 апреля 2024

О курсе

Занятия проводятся в [... Zoom] 'по ...

Контакты

Чат курса в TG: [... channel link]

Преподаватель: Садртдинов Ильдус Рустемович

Ассистенты Контакты
Имя Фамилия [телеграм]
Имя Фамилия [телеграм]
Имя Фамилия [телеграм]

Материалы курса

Ссылка на плейлист курса на YouTube: [...]

Ссылка на GitHub с материалами курса: GitHub (ПМИ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [Запись] [Ноутбук] Полносвязные нейронные сети 12.04.23

Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и

Лекция Ильдуса про полносвязные нейросети.

Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа

2 [Запись] [Ноутбук] Полносвязные нейронные сети (продолжение) 19.04.23 Лекция "Оптимизации нейронных сетей"
3 [Запись] [Ноутбук] Свёрточные нейронные сети 26.04.23

Лекции Е. Соколова: 1 (с 54:30) и 2 или/и

Лекция Ильдуса (с 40:50)

4 [Запись] [Ноутбук] Свёрточные нейронные сети (продолжение) 10.05.23 Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) Данные к семинару
5 [Запись] Ноутбук Сегментация и детекция 19.05.23 Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса
6 [Запись] [Ноутбук] Нейросетевые векторные представления слов 26.05.23 Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса
7 [Запись] [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder 31.05.23 Лекция Е. Соколова, Лекция Ильдуса Данные к первой части семинара
8 [Запись] [Папка с ноутбуком, скриптами и данными] Дистилляция, квантизация, прунинг 07.06.23 Лекция (Ильдус)
9 [Запись] [Ноутбук] Трансформеры 1 06.09.23 Лекция (Алексей Биршерт) Статьи "The Illustrated Transformer" и Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention), Jay Alammar

Формула оценивания

Оценка = 0.15*Отесты + 0.25*Оэкзамен + 0.6*ОДЗ

Домашние задания

Инвайт в Anytask: ...

  1. Полносвязные нейронные сети
    Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
    Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
    Дедлайн: ...
  2. Свёрточные нейронные сети | [Ноутбук] | Дедлайн: ...
  3. Рекуррентные нейронные сети | Языковые модели (RNN, LSTM) | Дедлайн: ...

Тесты и неоцениваемые теоретические ДЗ

Возможны изменения в числе тестов в большую сторону

  1. "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн - 30.04.23 (Вс) 02.05.23 (Вт) 20:59 GMT+3
  2. "Сверточные нейронные сети", выдан 26.06.23, дедлайн - 29.05.23(Пн) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
  3. Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - 13.06.23 (Вт) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
  4. Трансформеры и BERT, дедлайн: 30.09.23 (Сб), 23:59 (МСК)

За решение теоретических ДЗ возможно будут предусмотрены бонусы


Экзамен

...

Литература

  • Гудфеллоу Я. − Глубокое обучение
  • Christopher M. Bishop - Pattern Recognition and Machine Learning
  • Стивенс Э. - PyTorch. Освещая глубокое обучение
Источник — «http://wiki.cs.hse.ru/index.php?title=Глубинное_обучение_1&oldid=84446»