Основы глубинного обучения/2023 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 81: Строка 81:
 
==Лекции==
 
==Лекции==
  
Все лекции лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2022/lectures на гитхабе].
+
Все лекции лежат [ на гитхабе].
  
'''Лекция 1''' (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture01-intro.pdf Слайды]] [[https://youtu.be/-VH7bIoxYp8 Запись лекции]]
+
'''Лекция 1''' (14.09.2023). Введение в глубинное обучение. Полносвязные слои. [[ Слайды]] [[ Запись лекции]]
 
+
'''Лекция 2''' (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/2fPB3Je7E98 Запись лекции]]
+
 
+
'''Лекция 3''' (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/F53pfjKK0gc Запись лекции]]
+
 
+
'''Лекция 4''' (29.09.2022).Параметры свёрток. Пулинг. Padding. Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture04-convnets-optimization.pdf Слайды]] [[https://www.youtube.com/watch?v=G3VjGWTsoSA Запись лекции]]
+
 
+
'''Лекция 5''' (06.10.2022). Выбор размера батча. Momentum, AdaGram, Adam. Dropout. BatchNorm. Инициализации весов. Аугментация данных. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture05-convnets-optimization.pdf Слайды]] [[https://youtu.be/2J4XAGBm5R8 Запись лекции]]
+
 
+
'''Лекция 6''' (14.10.2022). Регуляризация, свёрточные архитектуры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture06-convnets.pdf Слайды]] [[https://youtu.be/xQRJpFF_NRw Запись лекции]]
+
 
+
'''Лекция 7''' (20.10.2022). Свёрточные архитектуры, задача сегментации. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture07-convnets.pdf Слайды]] [[https://youtu.be/nsqEJwugQfo Запись лекции]]
+
 
+
'''Лекция 8''' (03.11.2022). Детекция объектов. Идентификация, metric learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture08-vision.pdf Слайды]] [[https://youtu.be/WAusZZxx1bE Запись лекции]]
+
 
+
'''Лекция 9''' (10.11.2022). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture09-sequences.pdf Слайды]] [[https://youtu.be/GyI5X82NEn8 Запись лекции]]
+
 
+
'''Лекция 10''' (17.11.2022). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture10-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=It4-Hg9QNhw Запись лекции]]
+
 
+
'''Лекция 11''' (24.11.2022). Механизм внимания и трансформеры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции]]
+
  
 
== Семинары ==
 
== Семинары ==

Версия 17:04, 14 сентября 2023

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами:

Домашние задание сдаются в Anytask:

Канал в telegram для объявлений:

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы):

Таблица с оценками:

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 ... ... ... ... ...
ИАД-2 ... ... ... ... ...
ИАД-3 ... ... ... ... ...
ИАД-4 ... ... ... ... ...
ИАД-5 ... ... ... ... ...
ИАД-6 ... ... ... ... ...
ИАД-7 ... ... ... ... ...
ИАД-9 ... ... ... ... ...
ИАД-10 ... ... ... ... ...

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат [ на гитхабе].

Лекция 1 (14.09.2023). Введение в глубинное обучение. Полносвязные слои. Слайды Запись лекции

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (15.09.2022). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (22.09.2022). Свёртка изображений. [Тетрадка]

Семинар 3 (29.09.2022). Типичная архитектура свёрточной сети [Тетрадка]

Семинар 4 (06.10.2022). Методы оптимизации нейронных сейтей, PyTorch Lightning [Тетрадка]

Семинар 5 (14.10.2022). Transfer learning и adversarial атаки [Тетрадка]

Семинар 6 (10.11.2022). Сегментация, детекция. [Тетрадка]

Семинар 7 (17.11.2022). Эмбеддинги слов. Skip-gram Word2Vec. [Тетрадка]

Записи консультаций

Практические задания

Домашние задания выкладываются в репозиторий курса.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 20.09.2022

Мягкий дедлайн: 23:59MSK 04.10.2022

Жесткий дедлайн: 23:59MSK 10.10.2022

[Ноутбук с заданием]


Домашнее задание 2. Классификация изображений.

Дата выдачи: 12.10.2021

Мягкий дедлайн: 23:59MSK 01.11.2022

Жесткий дедлайн: 23:59MSK 08.11.2022

[Ноутбук с заданием]


Домашнее задание 3. Детекция объектов.

Дата выдачи: 27.11.2022

Мягкий дедлайн: 23:59MSK 18.12.2022

Жесткий дедлайн: 23:59MSK 19.12.2022

[Ноутбук с заданием]

Контрольная работа

Контрольная работа состоится 8 декабря во время лекции (13:00 - 14:20).

Вопросы для подготовки

Нулевой вариант

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

Страницы предыдущих лет

21/22 учебный год

20/21 учебный год