Основы глубинного обучения
Содержание
О курсе
Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.
Проводится с 2015 года.
Лектор — Соколов Евгений Андреевич
Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).
Полезные ссылки
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
Домашние задание сдаются в Anytask: https://anytask.org/course/973
Канал в telegram для объявлений: https://t.me/hse_iad_22
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+pbt8rRfldsUzZGUy
Таблица с оценками: https://docs.google.com/spreadsheets/d/1VHuG476mULH9QgsXlVsL5CDf6J7BrwlKOVfOMQDXH7g/edit?usp=sharing
Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.
Семинары
| Группа | Преподаватель | Учебные ассистенты | Zoom-конференция | Ссылка на чат | Инвайт в anytask |
|---|---|---|---|---|---|
| ИАД-1 | Нарек Алвандян | Максим Абрахам, Панков Алексей | Zoom | Чат | JwwoioZ |
| ИАД-2 | Егор Масликов | Ксения Лапшина, Марина Казюлина, Столяров Марк | Zoom | Чат | ooHht2A |
| ИАД-3 | Антон Семенкин | Александр Плахин, Михаил Никифоров, Панков Алексей | Zoom | Чат | QtGBL8Q |
| ИАД-4 | Елена Кантонистова | Блуменау Марк, Червяков Артем, Негматов Сорбон | Zoom | Чат | bKWTe7O |
| ИАД-5 | Михаил Гущин | Люткин Дмитрий, Матяш Дарья | Zoom | Чат | 4xYt5jF |
| ИАД-6 | Макс Карпов | Никита Киселев, Сорокина Татьяна, Громов Артем | Zoom | Чат | SUWLRyf |
| ИАД-7 | Гельван Кирилл | Смоленчук Иван, Костромина Алина | Zoom | Чат | rSfrcJa |
| ИАД-9 | Александр Бредихин | Матяш Дарья, Вероника Яшина | Zoom | Чат | WxGLiNs |
| ИАД-10 | Алексей Ковалёв | Максим Гудзикевич, Губина Анастасия, Громов Артем | Zoom | Чат | XuqSEAb |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Практические домашние работы на Python
- Проверочные работы на лекциях
- Контрольная где-то в середине курса
- Письменный экзамен
Итоговая оценка вычисляется по формуле:
Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)
ДЗ — средняя оценка за практические домашние задания
ПР — средняя оценка за проверочные работы
КР — оценка за контрольную работу
Э — оценка за экзамен
Правила сдачи заданий
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Лекции
Все лекции лежат на гитхабе.
Лекция 1 (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]
Лекция 2 (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]
Лекция 3 (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [Слайды] [Запись лекции]
Лекция 4 (29.09.2022).Параметры свёрток. Пулинг. Padding. Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. [Слайды] [Запись лекции]
Лекция 5 (06.10.2022). Выбор размера батча. Momentum, AdaGram, Adam. Dropout. BatchNorm. Инициализации весов. Аугментация данных. [Слайды] [Запись лекции]
Лекция 6 (14.10.2022). Регуляризация, свёрточные архитектуры. [Слайды] [Запись лекции]
Лекция 7 (20.10.2022). Свёрточные архитектуры, задача сегментации. [Слайды] [Запись лекции]
Лекция 8 (03.11.2022). Детекция объектов. Идентификация, metric learning. [Слайды] [Запись лекции]
Лекция 9 (10.11.2022). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [Слайды] [Запись лекции]
Лекция 10 (17.11.2022). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [Слайды] [Запись лекции]
Лекция 11 (24.11.2022). Механизм внимания и трансформеры. [Слайды] [Запись лекции]
Семинары
Все семинары тоже лежат на гитхабе.
Семинар 1 (15.09.2022). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [Тетрадка]
Семинар 2 (22.09.2022). Свёртка изображений. [Тетрадка]
Семинар 3 (29.09.2022). Типичная архитектура свёрточной сети [Тетрадка]
Семинар 4 (06.10.2022). Методы оптимизации нейронных сейтей, PyTorch Lightning [Тетрадка]
Семинар 5 (14.10.2022). Transfer learning и adversarial атаки [Тетрадка]
Семинар 6 (10.11.2022). Сегментация, детекция. [Тетрадка]
Семинар 7 (17.11.2022). Эмбеддинги слов. Skip-gram Word2Vec. [Тетрадка]
Записи консультаций
Практические задания
Домашние задания выкладываются в репозиторий курса.
Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.
Дата выдачи: 20.09.2022
Мягкий дедлайн: 23:59MSK 04.10.2022
Жесткий дедлайн: 23:59MSK 10.10.2022
Домашнее задание 2. Классификация изображений.
Дата выдачи: 12.10.2021
Мягкий дедлайн: 23:59MSK 01.11.2022
Жесткий дедлайн: 23:59MSK 08.11.2022
Домашнее задание 3. Детекция объектов.
Дата выдачи: 27.11.2022
Мягкий дедлайн: 23:59MSK 13.12.2022
Жесткий дедлайн: 23:59MSK 18.12.2022
Контрольная работа
Контрольная работа состоится 8 декабря во время лекции (13:00 - 14:20).
В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.
