Основы глубинного обучения/2023
Содержание
О курсе
Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.
Проводится с 2015 года.
Лектор — Соколов Евгений Андреевич
Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).
Полезные ссылки
Домашние задание сдаются в Anytask
Канал в telegram для объявлений: мега канал
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): мега чат
Таблица с оценками:
Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.
Семинары
| Группа | Преподаватель | Учебные ассистенты | Zoom-конференция | Ссылка на чат | Инвайт в anytask |
|---|---|---|---|---|---|
| ИАД-1 | Артем Червяков | Никита Захаров | Zoom | Чат | m6X54QR |
| ИАД-2 | Александр Рогачев | Иван Смоленчук, Александр Зайцев | Zoom | Чат | fsoUsuL |
| ИАД-3 | Александр Бредихин | Ксения Шерман, Анастасия Зайцева | Zoom | Чат | vEhsElQ |
| ИАД-4 | Марк Блуменау | Егор Горяной, Марина Казюлина | Zoom | Чат | 1vVkjjo |
| ИАД-5 | Маргарита Лазарева | Ксения Малкова, Елизавета Бичурина | Zoom | Чат | szcYr5g |
| ИАД-6 | Михаил Никифоров | Иван Смоленчук, Анастасия Кеммер | Zoom | Чат | 9yptdQe |
| ИАД-7 | https://t.me/andreynar | Роман Храмин, Анастасия Зайцева | Zoom | Чат | HUAOW6q |
| ИАД-8 | Михаил Гущин | Вячеслав Овчинников, Кирилл Козлов | Zoom | Чат | 5Y38wV9 |
| ИАД-9 | Михаил Баранов | Ксения Малкова, Елизавета Бичурина | Zoom | Чат | eiVK6wF |
| ИАД-10 | Филипп Ульянкин | Никита Горевой, Александр Зайцев | Zoom | Чат | VO7eBux |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Практические домашние работы на Python
- Проверочные работы на лекциях
- Контрольная где-то в середине курса
- Письменный экзамен
Итоговая оценка вычисляется по формуле:
Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)
ДЗ — средняя оценка за практические домашние задания
ПР — средняя оценка за проверочные работы
КР — оценка за контрольную работу
Э — оценка за экзамен
Правила сдачи заданий
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Лекции
Все лекции лежат на гитхабе.
Лекция 1 (14.09.2023). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]
Лекция 2 (21.09.2023). Обратное распространение ошибки. Сверточные сети. [Слайды] [Запись лекции]
Лекция 3 (28.09.2023). Свёртки и свёрточные сети. [Слайды] [Запись лекции]
Лекция 4 (05.10.2023). Оптимизация в глубинном обучении. [Слайды] [Запись лекции]
Лекция 5 (12.10.2023). Оптимизация в глубинном обучении, свёрточные архитектуры. [Слайды] [Запись лекции]
Лекция 6 (19.10.2023). Оптимизация в глубинном обучении. [Слайды] [Запись лекции]
Лекция 7 (02.11.2023). Задачи компьютерного зрения. [Слайды] [Запись лекции]
Лекция 8 (09.11.2023). Векторные представления слов. [Слайды] [Запись лекции]
Лекция 9 (16.11.2023). Рекуррентные модели. [Слайды] [Запись лекции]
Лекция 10 (30.11.2023). seq2seq модели и механизм внимания. [Слайды] [Запись лекции]
Лекция 11 (30.11.2023). Предобученные трансформеры. [Слайды] [Запись лекции]
Семинары
Все семинары тоже лежат на гитхабе.
Семинар 1 (21.09.2023). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [Тетрадка]
Семинар 2 (28.09.2023). Свёртка изображений. [Тетрадка]
Семинар 3 (05.10.2023). Классификация изображений. [Тетрадка]
Семинар 4 (12.10.2023). Методы оптимизации, PyTorch Lightning. [Тетрадка]
Семинар 5 (19.10.2023). Transfer Learning, Adversarial Attacks, Deep Network Visualization. [Тетрадка]
Семинар 6 (02.11.2023). Семантическая сегментация, детекция. [Тетрадка]
Семинар 7 (09.11.2023). Few/Zero Shot Learning. [Тетрадка]
Семинар 8 (16.11.2023). Word2Vec. [Тетрадка]
Семинар 9 (23.11.2023). Character-Level LSTM. [Тетрадка]
Семинар 10 (30.11.2023). Transformers. [Тетрадка]
Записи консультаций
Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-1]
Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-3]
Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-4]
Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-6]
Консультация перед контрольной №1 (07.12.2023). [Запись консультации ИАД-7]
Практические задания
Домашние задания выкладываются в репозиторий курса.
Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.
Дата выдачи: 01.10.2023
Мягкий дедлайн: 23:59 MSK 15.10.2023
Жесткий дедлайн: 23:59 MSK 20.10.2023
Домашнее задание 2. Классификация изображений.
Дата выдачи: 23.10.2023
Мягкий дедлайн: 23:59 MSK 12.11.2023
Жесткий дедлайн: 23:59 MSK 17.11.2023
Домашнее задание 3. Детекция объектов.
Дата выдачи: 25.11.2023
Мягкий дедлайн: 23:59 MSK 05.12.2023
Жесткий дедлайн: 23:59 MSK 11.12.2023
Домашнее задание 4. Texts.
Дата выдачи: 09.12.2023
Дедлайн: 23:59 MSK 18.12.2023
Контрольная работа
Контрольная работа состоится 14 декабря во время лекции (13:00 - 14:20).
В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.
