МОВС Глубинное обучение (ММОВС22, 4-5 модули)

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

О курсе

Занятия проходят по субботам.

У базовой группы с 11:10 по 12:30 по ссылке Zoom.

У продвинутой группы с 13:00 по 14:20 по ссылке Zoom.

Контакты

Канал и чат курса в TG: channel link

Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович

Ассистенты Контакты
Акимов Тимур @takimov
Казюлина Марина @poemgranate
Никифоров Михаил @caesiummm
Жирков Фёдор @ko4osik
Лазарева Анна @annalzrv
Кураторы Контакты
Залесинский Роман @roman_zalesinskii
Герасимова Мария @mariya_math

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub (ПМИ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 [Запись (Middle)] [Ноутбук] Полносвязные нейронные сети 13.04.24

Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и

Лекция Ильдуса про полносвязные нейросети.

Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа

2 [Запись (Middle)] [Ноутбук] Полносвязные нейронные сети (продолжение) 20.04.23 Лекция "Оптимизации нейронных сетей"
3 [Запись] [Ноутбук] Свёрточные нейронные сети 26.04.23

Лекции Е. Соколова: 1 (с 54:30) и 2 или/и

Лекция Ильдуса

4 [Запись] [Ноутбук] Свёрточные нейронные сети (продолжение) 10.05.23 Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) Данные к семинару
5 [Запись] Ноутбук Сегментация и детекция 19.05.23 Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса
6 [Запись] [Ноутбук] Нейросетевые векторные представления слов 26.05.23 Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса
7 [Запись] [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder 31.05.23 Лекция Е. Соколова, Лекция Ильдуса Данные к первой части семинара
8 [Запись] [Папка с ноутбуком, скриптами и данными] Дистилляция, квантизация, прунинг 07.06.23 Лекция (Ильдус)
9 [Запись] [Ноутбук] Трансформеры 1 06.09.23 Лекция (Алексей Биршерт), Лекция Ильдуса Статьи "The Illustrated Transformer" и Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention), Jay Alammar
10 [Запись] [Ноутбук] Трансформеры 2 (BERT) 13.09.23 Лекция Ильдуса Ноутбук про SimCLR для интересующихся
11 [Запись] [Ноутбук, PDF-ка] Генеративно-состязательные сети (GANs) 20.09.23 Лекция Ильдуса Туториал от торча по GAN'ам для картинок
12 [Запись] [Ноутбук] (Вариационные) автокодировщики [(V)AEs] 27.09.23 Лекция Ильдуса Блог-пост про свёртки
13 [Запись] [Ноутбук] Нормализационные потоки (NFs), Гущин Михаил 04.10.23 Лекция
14 [Запись] [Ноутбук] Диффузионные модели (Diffusion), Гущин Михаил 11.10.23 Лекция, Лекция Ильдуса
15 [Запись] [Ноутбук] Style Transfer, Deep Fakes & Supurresolution Tasks, Гущин Михаил 18.10.23 Лекция

Формула оценивания

Оценка 0.15*Тесты + 0.25*Письменный коллоквиум + 0.6*ДЗ

Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75

Домашние задания

Инвайт в Anytask: UZppWJ0

  1. Домашнее задание 1 - Дедлайн: 08.05.2024
  2. Домашнее задание 2 - Дедлайн: 26.05.2024
  3. Домашнее задание 3 - Дедлайн: 09.06.2024

Тесты и неоцениваемые теоретические ДЗ

Возможны изменения в числе тестов в большую сторону

  1. "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн - 30.04.23 (Вс) 02.05.23 (Вт) 20:59 GMT+3
  2. "Сверточные нейронные сети", выдан 26.06.23, дедлайн - 29.05.23(Пн) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
  3. Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - 13.06.23 (Вт) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
  4. Трансформеры и BERT, дедлайн: 30.09.23 (Сб), 23:59 (МСК)
  5. GANs + VAEs, дедлайн: 10.10.23 (Вт), 23:59 (МСК)
  6. Normalizing Flows + Diffusion

Возможно будет ещё 1-2 квиза на прочие топики.

За решение теоретических ДЗ возможно будут предусмотрены бонусы

Коллоквиум

Коллоквиум состоится не ранее 14.06 и вероятно будет представлять собой 4-5 задач с письменным ответом на понимание теории Глубинного обучения.

О дополнениях и уточнениях сообщим позже.

Экзамен

Экзамен будет устный, пройдет в сессию 5-го модуля. Будет состоять из вопросов по трансформерам и генеративным моделям, а также материалам первой части курса.

С прочими уточнениями вернемся позднее

Литература

  • Гудфеллоу Я. − Глубокое обучение
  • Christopher M. Bishop - Pattern Recognition and Machine Learning
  • Стивенс Э. - PyTorch. Освещая глубокое обучение
Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Глубинное_обучение_(ММОВС22,_4-5_модули)&oldid=84763»