Основы глубинного обучения/2021 2022

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на второй паре (11:10 - 12:30).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask: https://anytask.org/course/857

Канал в telegram для объявлений: https://t.me/hs_iad_2021

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/joinchat/Vuq4Lgi98RG22fQP

Таблица с оценками: https://docs.google.com/spreadsheets/d/1b5Z_-LymzTvS-OGo7fOZCEGUt56WFkfWF8hKmtq2L7Q/edit?usp=sharing

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 Антон Семенкин Дарья Морозова, Михаил Никифоров Zoom Чат
ИАД-2 Алексей Ковалёв Алёна Вертеева, Егор Масликов Zoom Чат
ИАД-3 Кирилл Гельван Кирилл Тамогашев, Дарья Матяш Zoom Чат
ИАД-4 Михаил Гущин Аня Аксенова, Катя Такташева Zoom Чат
ИАД-5 Руслан Хайдуров Антон Барышников, Михаил Григорян Zoom Чат
ИАД-6 Елена Кантонистова Елизавета Копышева Поликарпов Кирилл Zoom Чат
ИАД-7 Тамерлан Таболов Николай Аверьянов Сергей Тихонов Zoom Чат

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат на гитхабе.

Лекция 1 (09.09.2021). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (16.09.2021). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]

Лекция 3 (23.09.2021). Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding. [Слайды] [Запись лекции]

Лекция 4 (30.09.2021). Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout. [Слайды] [Запись лекции]

Лекция 5 (07.10.2021). BatchNorm. Инициализации весов. Аугментация данных. [Слайды] [Запись лекции]

Лекция 6 (14.10.2021). Архитектуры свёрточных сетей. AlexNet, VGG, Inception, ResNet. [Слайды] [Запись лекции]

Лекция 7 (28.10.2021). Transfer learning. Интерпретация свёрточных сетей. Сегментация. [Слайды] [Запись лекции]

Лекция 8 (04.11.2021). Детекция объектов. Идентификация, metric learning. [Слайды] [Запись лекции]

Лекция 9 (11.11.2021). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [Слайды] [Запись лекции]

Лекция 10 (18.11.2021). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [Слайды] [Запись лекции]

Лекция 11 (02.12.2021). Механизм внимания и трансформеры. [Слайды] [Запись лекции]

Лекция 12 (16.12.2021). Эффективное глубинное обучение. Слайды Запись лекции

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (16.09.2021). Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (23.09.2021). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Тетрадка]

Семинар 3 (30.09.2021). Типичная архитектура свёрточной сети [Тетрадка]

Семинар 4 (07.10.2021). Методы оптимизации нейронных сейтей [Тетрадка]

Семинар 5 (14.10.2021). Transfer learning и adversarial атаки [Тетрадка]

Семинар 6 (28.10.2021). Семантическая сегментация, детекция. [Тетрадка]

Семинар 7 (18.11.2021). Эмбеддинги слов. Skip-gram Word2Vec. [Тетрадка]

Семинар 8 (25.11.2021). Character-Level LSTM [Тетрадка]

Семинар 9 (02.12.2021). Классификация последовательностей (текстов). [Тетрадка]

Записи консультаций

Позже здесь появятся записи консультаций.

Практические задания

Домашние задания выкладываются в репозиторий курса. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 06.10.2021

Мягкий дедлайн: 23:59MSK 25.10.2021

Жесткий дедлайн: 23:59MSK 28.10.2021

[Ноутбук с заданием]

Домашнее задание 2. Классификация изображений.

Дата выдачи: 30.10.2021

Мягкий дедлайн: 23:59MSK 21.11.2021

Жесткий дедлайн: 23:59MSK 28.11.2021

[Ноутбук с заданием]

Домашнее задание 3. [ДЗ-3 на GitHub]

а) Контест на Kaggle: "Предсказание пользовательской оценки отеля по тексту отзыва" [Kaggle], [GitHub]

б) Реализация трансформера с нуля [GitHub]

в*) На 5 бонусных баллов: "Детекция фруктов и овощей на изображении" [GitHub]

Дата выдачи: 05.12.2021

Мягкий (он же жёсткий) дедлайн: 23:59MSK 20.12.2021

Контрольная работа

Контрольная работа состоится 9 декабря во время лекции (11:10 - 12:30).

Вопросы для подготовки

Нулевой вариант

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

[Вопросы для подготовки прошлого года]

Страницы предыдущих лет

20/21 учебный год