Глубинное обучение 1 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(wip)
(wip)
Строка 75: Строка 75:
 
|-
 
|-
 
| style="background:#eaecf0;" | '''8''' [Запись] || [Ноутбук] Дистилляция, квантизация, прунинг || 07.06.23 || [https://www.youtube.com/watch?v=rW6hQloci7M&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=12 Лекция (Ильдус)] ||  
 
| style="background:#eaecf0;" | '''8''' [Запись] || [Ноутбук] Дистилляция, квантизация, прунинг || 07.06.23 || [https://www.youtube.com/watch?v=rW6hQloci7M&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=12 Лекция (Ильдус)] ||  
−
|-
 
−
| Конец первой части курса |
 
−
|-
 
−
| style="background:#eaecf0;" | '''9''' [Запись]  || [Ноутбук] Трансформеры 1 || 06.09.23 || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)], [https://www.youtube.com/watch?v=x5bIzeIPdvI&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=9 Лекция Ильдуса] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar
 
−
|-
 
−
| style="background:#eaecf0;" | '''10''' [Запись] || [Ноутбук] Трансформеры 2 (BERT) || 13.09.23 || [https://www.youtube.com/watch?v=XEZBwLRPDBY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=10 Лекция Ильдуса] || [https://colab.research.google.com/github/phlippe/uvadlc_notebooks/blob/master/docs/tutorial_notebooks/tutorial17/SimCLR.ipynb Ноутбук про SimCLR] для интересующихся
 
−
|-
 
−
| style="background:#eaecf0;" | '''11''' [Запись] || [Ноутбук], [https://t.me/c/1924418355/68 PDF-ка]] Генеративно-состязательные сети (GANs) || 20.09.23 || [https://www.youtube.com/watch?v=EbuW6AFAfho&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=13 Лекция Ильдуса] || [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html Туториал от торча] по GAN'ам для картинок
 
−
|-
 
−
| style="background:#eaecf0;" | '''12''' [Запись] || [Ноутбук] (Вариационные) автокодировщики [(V)AEs] || 27.09.23 || [https://www.youtube.com/watch?v=KiwaAQBYbCI&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=14 Лекция Ильдуса] || [https://distill.pub/2016/deconv-checkerboard/ Блог-пост про свёртки]
 
−
|-
 
−
| style="background:#eaecf0;" | '''13''' [Запись] || [Ноутбук] Нормализационные потоки (NFs), ''Гущин Михаил'' || 04.10.23 || [https://youtu.be/aj1U36E_RZE Лекция] ||
 
−
|-
 
−
| style="background:#eaecf0;" | '''14''' [Запись] || [Ноутбук] Диффузионные модели (Diffusion), ''Гущин Михаил'' || 11.10.23 || [https://youtu.be/z7QH-WWHmfE Лекция], [https://www.youtube.com/watch?v=H0fczcpFbpg&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=15 Лекция Ильдуса] ||
 
−
|-
 
−
| style="background:#eaecf0;" | '''15''' [Запись] || [Ноутбук] Style Transfer, Deep Fakes & Supurresolution Tasks, ''Гущин Михаил'' || 18.10.23 || [https://www.youtube.com/watch?v=GRJ84i2z_7A Лекция] ||
 
−
|-
 
 
|}
 
|}
  

Версия 21:44, 22 апреля 2024

О курсе

Занятия проходят по субботам.

У базовой группы с 11:10 по 12:30 по ссылке Zoom.

У продвинутой группы с 13:00 по 14:20 по ссылке Zoom.

Контакты

Канал и чат курса в TG: channel link

Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович

Ассистенты Контакты
Акимов Тимур @takimov
Казюлина Марина @poemgranate
Никифоров Михаил @caesiummm
Жирков Фёдор @ko4osik
Лазарева Анна @annalzrv
Кураторы Контакты
Залесинский Роман @roman_zalesinskii
Герасимова Мария @mariya_math

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub (ПМИ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive

Ссылка на stepik c : stepik

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [Запись (Middle), Запись (Advanced)] [Ноутбук Advanced, Ноутбук Middle] Полносвязные нейронные сети 13.04.24

Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и

Лекция Ильдуса про полносвязные нейросети.

Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа

2 [Запись (Middle)] [Ноутбук Advanced, Ноутбук Middle] Полносвязные нейронные сети (продолжение) 20.04.24 Лекция "Оптимизации нейронных сетей"
3 [Запись] [Ноутбук] Свёрточные нейронные сети 26.04.23

Лекции Е. Соколова: 1 (с 54:30) и 2 или/и

Лекция Ильдуса

4 [Запись] [Ноутбук] Свёрточные нейронные сети (продолжение) 10.05.23 Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) Данные к семинару
5 [Запись] [Ноутбук] Сегментация и детекция 19.05.23 Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса
6 [Запись] [Ноутбук] Нейросетевые векторные представления слов 26.05.23 Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса
7 [Запись] [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder 31.05.23 Лекция Е. Соколова, Лекция Ильдуса Данные к первой части семинара
8 [Запись] [Ноутбук] Дистилляция, квантизация, прунинг 07.06.23 Лекция (Ильдус)

Формула оценивания

Оценка = 0.15*ОStepik + 0.25*Оэкзамен + 0.6*ОДЗ

Домашние задания

Инвайт в Anytask: ...

  1. Полносвязные нейронные сети
    Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
    Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
    Дедлайн: ...
  2. Свёрточные нейронные сети | [Ноутбук] | Дедлайн: ...
  3. Рекуррентные нейронные сети | Языковые модели (RNN, LSTM) | Дедлайн: ...

Тесты и неоцениваемые теоретические ДЗ

Возможны изменения в числе тестов в большую сторону

  1. "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн - ...
  2. "Сверточные нейронные сети", выдан 26.06.23, дедлайн - ...
  3. Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - ...
  4. Трансформеры и BERT, дедлайн - ...


Экзамен

...

Литература

  • Гудфеллоу Я. − Глубокое обучение
  • Christopher M. Bishop - Pattern Recognition and Machine Learning
  • Стивенс Э. - PyTorch. Освещая глубокое обучение
Источник — «http://wiki.cs.hse.ru/index.php?title=Глубинное_обучение_1&oldid=84803»