Просмотр исходного текста страницы Глубинное обучение (АДД 2024)

== О курсе ==

Курс читается для студентов 1 курса магистерской программы "Анализ данных в девелопменте" в 3-4 модулях.

[https://www.hse.ru/ma/development/courses/847030094.html Карточка курса и программа.]

[https://github.com/hushchyn-mikhail/deep_learning_dad Репозиторий с материалами курса на GitHub.]

[https://t.me/+sAucndXc-C01YTVi Чат в телеграме]

[https://forms.gle/PpGxUXfypo6DssXe7 Анонимная форма обратной связи]

=== Лекции ===

Лектор: [https://www.hse.ru/org/persons/213369348 Михаил Гущин] (mhushchyn@hse.ru, @mikhail_h91)

Лекции проходят по средам в 18:10 (R407).

=== Семинары ===

Семинарист: [https://www.hse.ru/org/persons/190918370 Азиз Темирханов] (atemirkhanov@hse.ru, @MrDredD)

Семинары проходят по средам в 19:40 (R407).

=== Учебные ассистенты ===

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знаний:
* Практические домашние работы на Python или с теоретическими задачами
* Контрольная работа в середине курса
* Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

O<sub>итоговая</sub> = Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

=== Правила сдачи заданий ===

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

== Лекции ==

'''Лекция 1.''' Введение в глубинное обучение. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture01-intro.pdf Слайды]]

'''Лекция 2.''' Полносвязные нейронные сети. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture02-mlp.pdf Слайды]]

'''Лекция 3.''' Обучение нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture03-optim.pdf Слайды]]

'''Лекция 4.''' Регуляризация. Автокодировщики. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture04-ae.pdf Слайды]]

'''Лекция 5.''' Изображения. Операция свёртки. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture05-conv.pdf Слайды]]

'''Лекция 6.''' Свёрточные нейронные сети. Интерпретация моделей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture06-cnn.pdf Слайды]]

'''Лекция 7.''' Архитектуры свёрточных нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture07-arc.pdf Слайды]]

'''Лекция 8.''' Перенос обучения. Распознавание лиц. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture08-transfer.pdf Слайды]]

'''Лекция 9.''' Детектирование объектов. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture09-detection.pdf Слайды]]

'''Лекция 10.''' Сегментация изображений. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture10-segmentation.pdf Слайды]]

'''Лекция 11.''' Векторное представление текста, word2vec. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture11-word2vec.pdf Слайды]]

'''Лекция 12.''' Рекуррентные нейронные сети. LSTM. GRU. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture12-rnn.pdf Слайды]]

'''Лекция 13.''' Машинный перевод. Seq2seq. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture13-seq2seq.pdf Слайды]]

== Семинары ==

'''Семинар 1.''' Введение в глубинное обучение. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-1.ipynb Colab]]

'''Семинар 3.''' Обучение нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-3.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-3.ipynb Colab]]

'''Семинар 4.''' Регуляризация. Автокодировщики. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-4.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-4.ipynb Colab]]

'''Семинар 5.''' Изображения. Операция свёртки. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-5/Seminar-5.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-5/Seminar-5.ipynb Colab]]

== Практические задания ==

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

===Задание 1. Обучение полносвязных сетей ===
Вам предстоит обучить несколько полносвязных сетей на нескольких датасетах.

'''Мягкий дедлайн''':  29 февраля 2024 года 23:59

'''Дедлайн''':  04 марта 2024 года 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/homeworks/homework_01.ipynb

===Задание 2. Перенос обучения ===
Вам предстоит загрузить предобученную модель и дообучить ее на своих данных.

'''Мягкий дедлайн''':  28 марта 2024 года 23:59

'''Дедлайн''':  01 апреля 2024 года 23:59

'''Ссылка''': https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/homeworks/homework_02.ipynb

== Промежуточная контрольная работа ==

Промежуточная контрольная работа состоится 10 апреля во время лекции (18:10 - 19:30).

[https://docs.google.com/document/d/1vg3k8qzpgi1c2UUfsy2JjgUmjlJp80oUij9MczNgyFs/edit?usp=sharing Вопросы для подготовки]

[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var0.pdf Нулевой вариант 1]

[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var02.pdf Нулевой вариант 2]

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

==Экзамен==

== Дополнительные материалы ==

===Курсы по машинному обучению и анализу данных===
* [http://wiki.cs.hse.ru/Основы_глубинного_обучения/2023 Основы глубинного обучения, ВШЭ]
* [https://github.com/mryab/dl-hse-ami Глубинное обучение, ВШЭ ]
* [https://stepik.org/course/124069/promo, Глубинное обучение 1, МФТИ]
* [https://stepik.org/course/111171/promo, Глубинное обучение 2, МФТИ]
* [https://academy.yandex.ru/handbook/ml Онлайн-учебник по машинному обучению от ШАД]
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]

===Книги===
* [https://d2l.ai/ Dive into Deep Learning]
* [https://www.deeplearningbook.org/ Goodfellow I., Bengio Y. and Courville A., Deep Learning]
* [https://link.springer.com/book/10.1007/978-0-387-84858-7 Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009]
* [https://www.microsoft.com/en-us/research/uploads/prod/2006/01/Bishop-Pattern-Recognition-and-Machine-Learning-2006.pdf Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006]