Глубинное обучение (АДД 2024)
Содержание
О курсе
Курс читается для студентов 1 курса магистерской программы "Анализ данных в девелопменте" в 3-4 модулях.
Репозиторий с материалами курса на GitHub.
Анонимная форма обратной связи
Лекции
Лектор: Михаил Гущин (mhushchyn@hse.ru, @mikhail_h91)
Лекции проходят по средам в 18:10 (R407).
Семинары
Семинарист: Азиз Темирханов (atemirkhanov@hse.ru, @MrDredD)
Семинары проходят по средам в 19:40 (R407).
Учебные ассистенты
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знаний:
- Практические домашние работы на Python или с теоретическими задачами
- Контрольная работа в середине курса
- Письменный экзамен
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:
Oитоговая = Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)
ДЗ — средняя оценка за практические домашние задания
КР — оценка за контрольную работу
Э — оценка за экзамен
Округление арифметическое.
Правила сдачи заданий
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Лекции
Лекция 1. Введение в глубинное обучение. [Слайды]
Лекция 2. Полносвязные нейронные сети. [Слайды]
Лекция 3. Обучение нейронных сетей. [Слайды]
Лекция 4. Регуляризация. Автокодировщики. [Слайды]
Лекция 5. Изображения. Операция свёртки. [Слайды]
Лекция 6. Свёрточные нейронные сети. Интерпретация моделей. [Слайды]
Лекция 7. Архитектуры свёрточных нейронных сетей. [Слайды]
Лекция 8. Перенос обучения. Распознавание лиц. [Слайды]
Лекция 9. Детектирование объектов. [Слайды]
Лекция 10. Сегментация изображений. [Слайды]
Лекция 11. Векторное представление текста, word2vec. [Слайды]
Лекция 12. Рекуррентные нейронные сети. LSTM. GRU. [Слайды]
Лекция 13. Машинный перевод. Seq2seq. [Слайды]
Лекция 14. Механизмы внимания (attention). [Слайды]
Лекция 15. Трансформеры. [Слайды]
Лекция 16. Генеративные модели. GAN. [Слайды]
Лекция 17. Анализ звука. [Слайды 1] [Слайды 2] [Тетрадка]
Семинары
Семинар 1. Введение в глубинное обучение. [Тетрадка] [Colab]
Семинар 3. Обучение нейронных сетей. [Тетрадка] [Colab]
Семинар 4. Регуляризация. Автокодировщики. [Тетрадка] [Colab]
Семинар 5. Изображения. Операция свёртки. [Тетрадка] [Colab]
Практические задания
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
Задание 1. Обучение полносвязных сетей
Вам предстоит обучить несколько полносвязных сетей на нескольких датасетах.
Мягкий дедлайн: 29 февраля 2024 года 23:59
Дедлайн: 04 марта 2024 года 23:59
Ссылка: https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/homeworks/homework_01.ipynb
Задание 2. Перенос обучения
Вам предстоит загрузить предобученную модель и дообучить ее на своих данных.
Мягкий дедлайн: 28 марта 2024 года 23:59
Дедлайн: 01 апреля 2024 года 23:59
Ссылка: https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/homeworks/homework_02.ipynb
Промежуточная контрольная работа
Промежуточная контрольная работа состоится 10 апреля во время лекции (18:10 - 19:30).
В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.
Экзамен
Экзамен состоится 19 июня во время лекции (18:10 - 19:30).
Обратите внимание на примеры типовых задач в списке вопросов.
Дополнительные материалы
Курсы по машинному обучению и анализу данных
- Основы глубинного обучения, ВШЭ
- Глубинное обучение, ВШЭ
- Глубинное обучение 1, МФТИ
- Глубинное обучение 2, МФТИ
- Онлайн-учебник по машинному обучению от ШАД
- Курс по машинному обучению К.В. Воронцова
