Глубинное обучение (АДД 2025) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Новая страница: «== О курсе == Курс читается для студентов 1 курса магистерской программы "Анализ данных в д…»)
 
 
(не показано 15 промежуточных версии этого же участника)
Строка 3: Строка 3:
 
Курс читается для студентов 1 курса магистерской программы "Анализ данных в девелопменте" в 3-4 модулях.
 
Курс читается для студентов 1 курса магистерской программы "Анализ данных в девелопменте" в 3-4 модулях.
  
−
[https://www.hse.ru/ma/development/courses/847030094.html Карточка курса и программа.]
+
[https://www.hse.ru/edu/courses/914869156 Карточка курса и программа.]
  
 
[https://github.com/hushchyn-mikhail/deep_learning_dad Репозиторий с материалами курса на GitHub.]
 
[https://github.com/hushchyn-mikhail/deep_learning_dad Репозиторий с материалами курса на GitHub.]
  
−
[https://t.me/+sAucndXc-C01YTVi Чат в телеграме]
+
[https://t.me/+NXVGH_sU_r8xYWI6 Чат в телеграме]
  
−
[https://forms.gle/PpGxUXfypo6DssXe7 Анонимная форма обратной связи]
+
[Анонимная форма обратной связи]
  
−
[https://docs.google.com/spreadsheets/d/1Nq2sDqZe-XMAiUO--KMAaArVf9vBKPtKOKQyWCME99k/edit?gid=0#gid=0 Таблица с оценками]
+
[Таблица с оценками]
  
 
=== Лекции ===
 
=== Лекции ===
  
−
Лектор: [https://www.hse.ru/org/persons/213369348 Михаил Гущин] (mhushchyn@hse.ru, @mikhail_h91)
+
Лектор: [https://www.hse.ru/org/persons/213369348 Михаил Гущин] (mhushchyn@hse.ru, @mhushchyn)
  
−
Лекции проходят по средам в 18:10 (R407).
+
Лекции проходят по вторникам в 18:10 (D504).
  
 
=== Семинары ===
 
=== Семинары ===
Строка 23: Строка 23:
 
Семинарист: [https://www.hse.ru/org/persons/190918370 Азиз Темирханов] (atemirkhanov@hse.ru, @MrDredD)
 
Семинарист: [https://www.hse.ru/org/persons/190918370 Азиз Темирханов] (atemirkhanov@hse.ru, @MrDredD)
  
−
Семинары проходят по средам в 19:40 (R407).
+
Семинары проходят по вторникам в 19:40 (D504).
  
 
=== Учебные ассистенты ===
 
=== Учебные ассистенты ===
Строка 45: Строка 45:
  
 
Округление арифметическое.
 
Округление арифметическое.
 +
 +
=== Правила выставления автомата ===
 +
 +
O<sub>автомат</sub> = Округление((0.5 * ДЗ + 0.2 * КР) / 0.7)
 +
 +
Критерий такой: за Среднее ДЗ >= 6 и за КР >= 6.
 +
 +
Если критерий выполняется, то на экзамен можно не приходить.
  
 
=== Правила сдачи заданий ===
 
=== Правила сдачи заданий ===
Строка 56: Строка 64:
 
== Лекции ==
 
== Лекции ==
  
−
'''Лекция 1.''' Введение в глубинное обучение. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture01-intro.pdf Слайды]]
+
'''Лекция 1.''' Введение в глубинное обучение. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture01-intro.pdf Слайды]]
  
−
'''Лекция 2.''' Полносвязные нейронные сети. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture02-mlp.pdf Слайды]]
+
'''Лекция 2.''' Полносвязные нейронные сети. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture02-mlp.pdf Слайды]]
  
−
'''Лекция 3.''' Обучение нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture03-optim.pdf Слайды]]
+
'''Лекция 3.''' Обучение нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture03-optim.pdf Слайды]]
  
−
'''Лекция 4.''' Регуляризация. Автокодировщики. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture04-ae.pdf Слайды]]
+
'''Лекция 4.''' Регуляризация. Dropout. Batch Normalization. Автокодировщики. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture04-ae.pdf Слайды]]
  
−
'''Лекция 5.''' Изображения. Операция свёртки. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture05-conv.pdf Слайды]]
+
'''Лекция 5.''' Изображения. Операция свёртки. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture05-conv.pdf Слайды]]
  
−
'''Лекция 6.''' Свёрточные нейронные сети. Интерпретация моделей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture06-cnn.pdf Слайды]]
+
'''Лекция 6.''' Свёрточные нейронные сети. Интерпретация моделей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture06-cnn.pdf Слайды]]
  
−
'''Лекция 7.''' Архитектуры свёрточных нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture07-arc.pdf Слайды]]
+
'''Лекция 7.''' Архитектуры свёрточных нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture07-arc.pdf Слайды]]
  
−
'''Лекция 8.''' Перенос обучения. Распознавание лиц. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture08-transfer.pdf Слайды]]
+
'''Лекция 8.''' Перенос обучения. Распознавание лиц. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture08-transfer.pdf Слайды]]
  
−
'''Лекция 9.''' Детектирование объектов. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture09-detection.pdf Слайды]]
+
'''Лекция 9.''' Детектирование объектов. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture09-detection.pdf Слайды]]
  
−
'''Лекция 10.''' Сегментация изображений. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture10-segmentation.pdf Слайды]]
+
'''Лекция 10.''' Сегментация изображений. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture10-segmentation.pdf Слайды]]
  
−
'''Лекция 11.''' Векторное представление текста, word2vec. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture11-word2vec.pdf Слайды]]
+
'''Лекция 11.''' Векторное представление текста, word2vec. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture11-word2vec.pdf Слайды]]
  
−
'''Лекция 12.''' Рекуррентные нейронные сети. LSTM. GRU. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture12-rnn.pdf Слайды]]
+
'''Лекция 12.''' Рекуррентные нейронные сети. LSTM. GRU. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture12-rnn.pdf Слайды]]
  
−
'''Лекция 13.''' Машинный перевод. Seq2seq. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture13-seq2seq.pdf Слайды]]
+
'''Лекция 13.''' Машинный перевод. Seq2seq. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture13-seq2seq.pdf Слайды]]
  
−
'''Лекция 14.''' Механизмы внимания (attention). [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture14-attention.pdf Слайды]]
+
'''Лекция 14.''' Механизмы внимания (attention). [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture14-attention.pdf Слайды]]
  
−
'''Лекция 15.''' Трансформеры. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture15-transformers.pdf Слайды]]
+
'''Лекция 15.''' Трансформеры. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/lectures/lecture15-transformers.pdf Слайды]]
−
 
+
−
'''Лекция 16.''' Генеративные модели. GAN. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/lectures/lecture16-gan.pdf Слайды]]
+
−
 
+
−
'''Лекция 17.''' Анализ звука. [[https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture12-sound1.pdf Слайды 1]] [[https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture12-sound2.pdf Слайды 2]] [[https://github.com/hse-ds/iad-applied-ds/blob/master/2023/seminars/sem11_audio/sem11_audio.ipynb Тетрадка]]  
+
  
 
== Семинары ==
 
== Семинары ==
  
−
'''Семинар 1.''' Введение в глубинное обучение. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-1.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-1.ipynb Colab]]
+
'''Семинар 1.''' Введение в глубинное обучение.
−
 
+
−
'''Семинар 3.''' Обучение нейронных сетей. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-3.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-3.ipynb Colab]]
+
−
 
+
−
'''Семинар 4.''' Регуляризация. Автокодировщики. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-4.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-4.ipynb Colab]]
+
−
 
+
−
'''Семинар 5.''' Изображения. Операция свёртки. [[https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-5/Seminar-5.ipynb Тетрадка]] [[https://colab.research.google.com/github/hushchyn-mikhail/deep_learning_dad/blob/main/2024/seminars/Seminar-5/Seminar-5.ipynb Colab]]
+
  
 
== Практические задания ==
 
== Практические задания ==
  
−
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. Студенту разрешается два раза сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
+
После дедлайна работы не принимаются.
  
 
===Задание 1. Обучение полносвязных сетей ===
 
===Задание 1. Обучение полносвязных сетей ===
 
Вам предстоит обучить несколько полносвязных сетей на нескольких датасетах.
 
Вам предстоит обучить несколько полносвязных сетей на нескольких датасетах.
  
−
'''Мягкий дедлайн''':  29 февраля 2024 года 23:59
+
'''Дедлайн''':  24 февраля 2025 года 23:59
  
−
'''Дедлайн''':  04 марта 2024 года 23:59
+
'''Ссылка''': https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/homeworks/HomeWork-1.ipynb
−
 
+
−
'''Ссылка''': https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/homeworks/homework_01.ipynb
+
−
 
+
−
===Задание 2. Перенос обучения ===
+
−
Вам предстоит загрузить предобученную модель и дообучить ее на своих данных.
+
−
 
+
−
'''Мягкий дедлайн''':  28 марта 2024 года 23:59
+
−
 
+
−
'''Дедлайн''':  01 апреля 2024 года 23:59
+
−
 
+
−
'''Ссылка''': https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2024/homeworks/homework_02.ipynb
+
  
 
== Промежуточная контрольная работа ==
 
== Промежуточная контрольная работа ==
  
−
Промежуточная контрольная работа состоится 10 апреля во время лекции (18:10 - 19:30).
+
Промежуточная контрольная работа состоится 15 апреля во время лекции (18:10 - 19:30).
  
−
[https://docs.google.com/document/d/1vg3k8qzpgi1c2UUfsy2JjgUmjlJp80oUij9MczNgyFs/edit?usp=sharing Вопросы для подготовки]
+
[https://docs.google.com/document/d/1jXsSyDzqOb0Y-Eq60_Sdq7UTnD7S4n2oFUmrGRyXPHs/edit?usp=sharing Вопросы для подготовки]
  
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var0.pdf Нулевой вариант 1]
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var0.pdf Нулевой вариант 1]
Строка 132: Строка 119:
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var02.pdf Нулевой вариант 2]
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var02.pdf Нулевой вариант 2]
  
−
В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.
+
В варианте будет 4-5 вопросов. Обратите внимание на примеры типовых задач в списке вопросов.
  
 
==Экзамен==
 
==Экзамен==
  
−
Экзамен состоится 19 июня во время лекции (18:10 - 19:30).
+
Экзамен состоится 17 июня во время лекции (18:10 - 19:30).
  
−
[https://docs.google.com/document/d/1vg3k8qzpgi1c2UUfsy2JjgUmjlJp80oUij9MczNgyFs/edit?usp=sharing Вопросы для подготовки]
+
[https://docs.google.com/document/d/1jXsSyDzqOb0Y-Eq60_Sdq7UTnD7S4n2oFUmrGRyXPHs/edit?usp=sharing Вопросы для подготовки]
  
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var0.pdf Нулевой вариант 1]
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var0.pdf Нулевой вариант 1]
Строка 144: Строка 131:
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var02.pdf Нулевой вариант 2]
 
[https://github.com/hse-ds/iad-deep-learning/blob/master/2023/iad-dl-midterm-var02.pdf Нулевой вариант 2]
  
−
Обратите внимание на примеры типовых задач в списке вопросов.
+
 
 +
== Материалы прошлых лет ==
 +
 
 +
[http://wiki.cs.hse.ru/Глубинное_обучение_(АДД_2024) Глубинное обучение 2024]
  
 
== Дополнительные материалы ==
 
== Дополнительные материалы ==

Текущая версия на 18:14, 3 июня 2025

О курсе

Курс читается для студентов 1 курса магистерской программы "Анализ данных в девелопменте" в 3-4 модулях.

Карточка курса и программа.

Репозиторий с материалами курса на GitHub.

Чат в телеграме

[Анонимная форма обратной связи]

[Таблица с оценками]

Лекции

Лектор: Михаил Гущин (mhushchyn@hse.ru, @mhushchyn)

Лекции проходят по вторникам в 18:10 (D504).

Семинары

Семинарист: Азиз Темирханов (atemirkhanov@hse.ru, @MrDredD)

Семинары проходят по вторникам в 19:40 (D504).

Учебные ассистенты

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знаний:

  • Практические домашние работы на Python или с теоретическими задачами
  • Контрольная работа в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

Правила выставления автомата

Oавтомат = Округление((0.5 * ДЗ + 0.2 * КР) / 0.7)

Критерий такой: за Среднее ДЗ >= 6 и за КР >= 6.

Если критерий выполняется, то на экзамен можно не приходить.

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Лекция 1. Введение в глубинное обучение. [Слайды]

Лекция 2. Полносвязные нейронные сети. [Слайды]

Лекция 3. Обучение нейронных сетей. [Слайды]

Лекция 4. Регуляризация. Dropout. Batch Normalization. Автокодировщики. [Слайды]

Лекция 5. Изображения. Операция свёртки. [Слайды]

Лекция 6. Свёрточные нейронные сети. Интерпретация моделей. [Слайды]

Лекция 7. Архитектуры свёрточных нейронных сетей. [Слайды]

Лекция 8. Перенос обучения. Распознавание лиц. [Слайды]

Лекция 9. Детектирование объектов. [Слайды]

Лекция 10. Сегментация изображений. [Слайды]

Лекция 11. Векторное представление текста, word2vec. [Слайды]

Лекция 12. Рекуррентные нейронные сети. LSTM. GRU. [Слайды]

Лекция 13. Машинный перевод. Seq2seq. [Слайды]

Лекция 14. Механизмы внимания (attention). [Слайды]

Лекция 15. Трансформеры. [Слайды]

Семинары

Семинар 1. Введение в глубинное обучение.

Практические задания

После дедлайна работы не принимаются.

Задание 1. Обучение полносвязных сетей

Вам предстоит обучить несколько полносвязных сетей на нескольких датасетах.

Дедлайн: 24 февраля 2025 года 23:59

Ссылка: https://github.com/hushchyn-mikhail/deep_learning_dad/blob/main/2025/homeworks/HomeWork-1.ipynb

Промежуточная контрольная работа

Промежуточная контрольная работа состоится 15 апреля во время лекции (18:10 - 19:30).

Вопросы для подготовки

Нулевой вариант 1

Нулевой вариант 2

В варианте будет 4-5 вопросов. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

Экзамен состоится 17 июня во время лекции (18:10 - 19:30).

Вопросы для подготовки

Нулевой вариант 1

Нулевой вариант 2


Материалы прошлых лет

Глубинное обучение 2024

Дополнительные материалы

Курсы по машинному обучению и анализу данных

Книги

Источник — «http://wiki.cs.hse.ru/index.php?title=Глубинное_обучение_(АДД_2025)&oldid=91050»