Основы глубинного обучения 2023

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask: https://anytask.org/course/973

Канал в telegram для объявлений: https://t.me/hse_iad_22

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+pbt8rRfldsUzZGUy

Таблица с оценками: https://docs.google.com/spreadsheets/d/1VHuG476mULH9QgsXlVsL5CDf6J7BrwlKOVfOMQDXH7g/edit?usp=sharing

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 Нарек Алвандян Максим Абрахам, Панков Алексей Zoom Чат JwwoioZ
ИАД-2 Егор Масликов Ксения Лапшина, Марина Казюлина, Столяров Марк Zoom Чат ooHht2A
ИАД-3 Антон Семенкин Александр Плахин, Михаил Никифоров, Панков Алексей Zoom Чат QtGBL8Q
ИАД-4 Елена Кантонистова Блуменау Марк, Червяков Артем, Негматов Сорбон Zoom Чат bKWTe7O
ИАД-5 Михаил Гущин Люткин Дмитрий, Матяш Дарья Zoom Чат 4xYt5jF
ИАД-6 Макс Карпов Никита Киселев, Сорокина Татьяна, Громов Артем Zoom Чат SUWLRyf
ИАД-7 Гельван Кирилл Смоленчук Иван, Костромина Алина Zoom Чат rSfrcJa
ИАД-9 Александр Бредихин Матяш Дарья, Вероника Яшина Zoom Чат WxGLiNs
ИАД-10 Алексей Ковалёв Максим Гудзикевич, Губина Анастасия, Громов Артем Zoom Чат XuqSEAb

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат на гитхабе.

Лекция 1 (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]

Лекция 3 (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [Слайды] [Запись лекции]

Лекция 4 (29.09.2022).Параметры свёрток. Пулинг. Padding. Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. [Слайды] [Запись лекции]

Лекция 5 (06.10.2022). Выбор размера батча. Momentum, AdaGram, Adam. Dropout. BatchNorm. Инициализации весов. Аугментация данных. [Слайды] [Запись лекции]

Лекция 6 (14.10.2022). Регуляризация, свёрточные архитектуры. [Слайды] [Запись лекции]

Лекция 7 (20.10.2022). Свёрточные архитектуры, задача сегментации. [Слайды] [Запись лекции]

Лекция 8 (03.11.2022). Детекция объектов. Идентификация, metric learning. [Слайды] [Запись лекции]

Лекция 9 (10.11.2022). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [Слайды] [Запись лекции]

Лекция 10 (17.11.2022). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [Слайды] [Запись лекции]

Лекция 11 (24.11.2022). Механизм внимания и трансформеры. [Слайды] [Запись лекции]

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (15.09.2022). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (22.09.2022). Свёртка изображений. [Тетрадка]

Семинар 3 (29.09.2022). Типичная архитектура свёрточной сети [Тетрадка]

Семинар 4 (06.10.2022). Методы оптимизации нейронных сейтей, PyTorch Lightning [Тетрадка]

Семинар 5 (14.10.2022). Transfer learning и adversarial атаки [Тетрадка]

Семинар 6 (10.11.2022). Сегментация, детекция. [Тетрадка]

Семинар 7 (17.11.2022). Эмбеддинги слов. Skip-gram Word2Vec. [Тетрадка]

Записи консультаций

Практические задания

Домашние задания выкладываются в репозиторий курса.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 20.09.2022

Мягкий дедлайн: 23:59MSK 04.10.2022

Жесткий дедлайн: 23:59MSK 10.10.2022

[Ноутбук с заданием]


Домашнее задание 2. Классификация изображений.

Дата выдачи: 12.10.2021

Мягкий дедлайн: 23:59MSK 01.11.2022

Жесткий дедлайн: 23:59MSK 08.11.2022

[Ноутбук с заданием]


Домашнее задание 3. Детекция объектов.

Дата выдачи: 27.11.2022

Мягкий дедлайн: 23:59MSK 18.12.2022

Жесткий дедлайн: 23:59MSK 19.12.2022

[Ноутбук с заданием]

Контрольная работа

Контрольная работа состоится 8 декабря во время лекции (13:00 - 14:20).

Вопросы для подготовки

Нулевой вариант

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

Страницы предыдущих лет

21/22 учебный год

20/21 учебный год