Глубинное обучение 1

О курсе

Занятия проводятся в [... Zoom] 'по ...

Контакты

Чат курса в TG: [... channel link]

Преподаватель: Садртдинов Ильдус Рустемович

Ассистенты	Контакты
Имя Фамилия	[телеграм]
Имя Фамилия	[телеграм]
Имя Фамилия	[телеграм]

Материалы курса

Ссылка на плейлист курса на YouTube: [...]

Ссылка на GitHub с материалами курса: GitHub (ПМИ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive

Занятие	Тема	Дата	Материалы для самоподготовки к семинарам	Дополнительные материалы
1 [Запись]	[Ноутбук] Полносвязные нейронные сети	дата	Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и Лекция Ильдуса про полносвязные нейросети. Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа
2 [Запись]	[Ноутбук] Полносвязные нейронные сети (продолжение)	...	Лекция "Оптимизации нейронных сетей"
3 [Запись]	[Ноутбук] Свёрточные нейронные сети	...	Лекции Е. Соколова: 1 (с 54:30) и 2 или/и Лекция Ильдуса (с 40:50)
4 [Запись]	[Ноутбук] Свёрточные нейронные сети (продолжение)	...	Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30)	Данные к семинару
5 [Запись]	Ноутбук Сегментация и детекция	...	Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса
6 [Запись]	[Ноутбук] Нейросетевые векторные представления слов	...	Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса
7 [Запись]	[Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder	...	Лекция Е. Соколова, Лекция Ильдуса	Данные к первой части семинара
8 [Запись]	[Папка с ноутбуком, скриптами и данными] Дистилляция, квантизация, прунинг	...	Лекция (Ильдус)
9 [Запись]	[Ноутбук] Трансформеры 1	...	Лекция (Алексей Биршерт)	Статьи "The Illustrated Transformer" и Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention), Jay Alammar

Формула оценивания

Оценка = 0.15*О_тесты + 0.25*О_{экзамен} + 0.6*О_ДЗ

Домашние задания

Инвайт в Anytask: ...

1. Полносвязные нейронные сети
   Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
   Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
   Дедлайн: ...
2. Свёрточные нейронные сети | [Ноутбук] | Дедлайн: ...
3. Рекуррентные нейронные сети | Языковые модели (RNN, LSTM) | Дедлайн: ...

Тесты и неоцениваемые теоретические ДЗ

Возможны изменения в числе тестов в большую сторону

1. "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн - ...
2. "Сверточные нейронные сети", выдан 26.06.23, дедлайн - ...
3. Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - ...
4. Трансформеры и BERT, дедлайн - ...
   

• Теоретическое ДЗ-1 "Полносвязные НС" (не оценивается)

Экзамен

...

Литература

• Гудфеллоу Я. − Глубокое обучение
• Christopher M. Bishop - Pattern Recognition and Machine Learning
• Стивенс Э. - PyTorch. Освещая глубокое обучение