Основы глубинного обучения — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Семинары)
(Практические задания)
(не показано 14 промежуточных версии 3 участников)
Строка 15: Строка 15:
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
  
Домашние задание сдаются в Anytask: https://anytask.org/course/??
+
Домашние задание сдаются в Anytask: https://anytask.org/course/973
  
 
Канал в telegram для объявлений: https://t.me/hse_iad_22
 
Канал в telegram для объявлений: https://t.me/hse_iad_22
Строка 47: Строка 47:
 
| ИАД-9 || [https://t.me/bredikhin_alexander Александр Бредихин] || [https://t.me/bwdare Матяш Дарья], [https://t.me/veronika_diaf Вероника Яшина] || [https://us06web.zoom.us/j/88444818446?pwd=akxldlVLeVFqalVMamo2VmVhZnlHQT09 Zoom] ||  [https://t.me/+Qe61R4d7hJI2Mzgy Чат] || WxGLiNs
 
| ИАД-9 || [https://t.me/bredikhin_alexander Александр Бредихин] || [https://t.me/bwdare Матяш Дарья], [https://t.me/veronika_diaf Вероника Яшина] || [https://us06web.zoom.us/j/88444818446?pwd=akxldlVLeVFqalVMamo2VmVhZnlHQT09 Zoom] ||  [https://t.me/+Qe61R4d7hJI2Mzgy Чат] || WxGLiNs
 
|-  
 
|-  
| ИАД-10 || [https://t.me/AlexeyKKovalev Алексей Ковалёв] || [https://t.me/masstermax Максим Гудзикевич], [https://t.me/anastasia_gubina Губина Анастасия]|| [https://us06web.zoom.us/j/84656657023?pwd=Q0lZVkRZZUtCS3lFMG5jTFMyMGlsUT09 Zoom] ||  [https://t.me/+ln6VEh60LgBkNGQ6 Чат] || XuqSEAb
+
| ИАД-10 || [https://t.me/AlexeyKKovalev Алексей Ковалёв] || [https://t.me/masstermax Максим Гудзикевич], [https://t.me/anastasia_gubina Губина Анастасия], [https://t.me/artyom_grom Громов Артем] || [https://us06web.zoom.us/j/84656657023?pwd=Q0lZVkRZZUtCS3lFMG5jTFMyMGlsUT09 Zoom] ||  [https://t.me/+ln6VEh60LgBkNGQ6 Чат] || XuqSEAb
 
|}
 
|}
  
Строка 86: Строка 86:
 
'''Лекция 1''' (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture01-intro.pdf Слайды]] [[https://youtu.be/-VH7bIoxYp8 Запись лекции]]
 
'''Лекция 1''' (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture01-intro.pdf Слайды]] [[https://youtu.be/-VH7bIoxYp8 Запись лекции]]
  
'''Лекция 2''' (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/2fPB3Je7E98 Запись лекции]]
+
'''Лекция 2''' (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/2fPB3Je7E98 Запись лекции]]
  
'''Лекция 3''' (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/F53pfjKK0gc Запись лекции]]
+
'''Лекция 3''' (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/F53pfjKK0gc Запись лекции]]
 +
 
 +
'''Лекция 4''' (29.09.2022).Параметры свёрток. Пулинг. Padding. Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture04-convnets-optimization.pdf Слайды]] [[https://www.youtube.com/watch?v=G3VjGWTsoSA Запись лекции]]
 +
 
 +
'''Лекция 5''' (06.10.2022). Выбор размера батча. Momentum, AdaGram, Adam. Dropout. BatchNorm. Инициализации весов. Аугментация данных. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture05-convnets-optimization.pdf Слайды]] [[https://youtu.be/2J4XAGBm5R8 Запись лекции]]
 +
 
 +
'''Лекция 6''' (14.10.2022). Регуляризация, свёрточные архитектуры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture06-convnets.pdf Слайды]] [[https://youtu.be/xQRJpFF_NRw Запись лекции]]
 +
 
 +
'''Лекция 7''' (20.10.2022). Свёрточные архитектуры, задача сегментации. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture07-convnets.pdf Слайды]] [[https://youtu.be/nsqEJwugQfo Запись лекции]]
 +
 
 +
'''Лекция 8''' (03.11.2022). Детекция объектов. Идентификация, metric learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture08-vision.pdf Слайды]] [[https://youtu.be/WAusZZxx1bE Запись лекции]]
 +
 
 +
'''Лекция 9''' (10.11.2022). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture09-sequences.pdf Слайды]] [[https://youtu.be/GyI5X82NEn8 Запись лекции]]
 +
 
 +
'''Лекция 10''' (17.11.2022). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture10-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=It4-Hg9QNhw Запись лекции]]
 +
 
 +
'''Лекция 11''' (24.11.2022). Механизм внимания и трансформеры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции]]
  
 
== Семинары ==
 
== Семинары ==
Строка 96: Строка 112:
  
 
'''Семинар 2''' (22.09.2022). Свёртка изображений. [[https://github.com/hse-ds/iad-deep-learning/tree/master/2022/seminars/sem02 Тетрадка]]
 
'''Семинар 2''' (22.09.2022). Свёртка изображений. [[https://github.com/hse-ds/iad-deep-learning/tree/master/2022/seminars/sem02 Тетрадка]]
 +
 +
'''Семинар 3''' (29.09.2022). Типичная архитектура свёрточной сети [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem03/sem03_task.ipynb Тетрадка]]
 +
 +
'''Семинар 4''' (06.10.2022). Методы оптимизации нейронных сейтей, PyTorch Lightning [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem04/sem04_task.ipynb Тетрадка]]
 +
 +
'''Семинар 5''' (14.10.2022). Transfer learning и adversarial атаки [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem05/sem05_task.ipynb Тетрадка]]
 +
 +
'''Семинар 6''' (10.11.2022). Сегментация, детекция. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem06/sem06_solved.ipynb Тетрадка]]
 +
 +
'''Семинар 7''' (17.11.2022). Эмбеддинги слов. Skip-gram Word2Vec. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem07/sem07_solved.ipynb Тетрадка]]
  
 
== Записи консультаций ==
 
== Записи консультаций ==
Скоро пройдет консультация и сразу затем здесь появится её запись
 
  
 
== Практические задания ==
 
== Практические задания ==
Строка 113: Строка 138:
  
 
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/homeworks/hw1/homework-01.ipynb Ноутбук с заданием]]
 
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/homeworks/hw1/homework-01.ipynb Ноутбук с заданием]]
 +
 +
 +
''' Домашнее задание 2.''' Классификация изображений.
 +
 +
Дата выдачи: 12.10.2021
 +
 +
Мягкий дедлайн: 23:59MSK 01.11.2022
 +
 +
Жесткий дедлайн: 23:59MSK 08.11.2022
 +
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/homeworks/hw2/hw_2.ipynb Ноутбук с заданием]]
 +
 +
 +
''' Домашнее задание 3.''' Детекция объектов.
 +
 +
Дата выдачи: 27.11.2022
 +
 +
Мягкий дедлайн: 23:59MSK 13.12.2022
 +
 +
Жесткий дедлайн: 23:59MSK 18.12.2022
 +
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/homeworks/hw3.ipynb Ноутбук с заданием]]
  
 
== Контрольная работа ==
 
== Контрольная работа ==
 +
 +
Контрольная работа состоится 8 декабря во время лекции (13:00 - 14:20).
 +
 +
[https://docs.google.com/document/d/1CoibtsjuSTA7VvvOFFL8mQQ5U3FkTsU-sfEPGgU5joU/edit?usp=sharing Вопросы для подготовки]
 +
 +
[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/iad-dl-midterm-var0.pdf Нулевой вариант]
 +
 +
В варианте будет 4 вопроса.
 +
Обратите внимание на примеры типовых задач в списке вопросов.
  
 
== Экзамен ==
 
== Экзамен ==

Версия 22:36, 27 ноября 2022

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask: https://anytask.org/course/973

Канал в telegram для объявлений: https://t.me/hse_iad_22

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+pbt8rRfldsUzZGUy

Таблица с оценками: https://docs.google.com/spreadsheets/d/1VHuG476mULH9QgsXlVsL5CDf6J7BrwlKOVfOMQDXH7g/edit?usp=sharing

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 Нарек Алвандян Максим Абрахам, Панков Алексей Zoom Чат JwwoioZ
ИАД-2 Егор Масликов Ксения Лапшина, Марина Казюлина, Столяров Марк Zoom Чат ooHht2A
ИАД-3 Антон Семенкин Александр Плахин, Михаил Никифоров, Панков Алексей Zoom Чат QtGBL8Q
ИАД-4 Елена Кантонистова Блуменау Марк, Червяков Артем, Негматов Сорбон Zoom Чат bKWTe7O
ИАД-5 Михаил Гущин Люткин Дмитрий, Матяш Дарья Zoom Чат 4xYt5jF
ИАД-6 Макс Карпов Никита Киселев, Сорокина Татьяна, Громов Артем Zoom Чат SUWLRyf
ИАД-7 Гельван Кирилл Смоленчук Иван, Костромина Алина Zoom Чат rSfrcJa
ИАД-9 Александр Бредихин Матяш Дарья, Вероника Яшина Zoom Чат WxGLiNs
ИАД-10 Алексей Ковалёв Максим Гудзикевич, Губина Анастасия, Громов Артем Zoom Чат XuqSEAb

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат на гитхабе.

Лекция 1 (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]

Лекция 3 (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [Слайды] [Запись лекции]

Лекция 4 (29.09.2022).Параметры свёрток. Пулинг. Padding. Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. [Слайды] [Запись лекции]

Лекция 5 (06.10.2022). Выбор размера батча. Momentum, AdaGram, Adam. Dropout. BatchNorm. Инициализации весов. Аугментация данных. [Слайды] [Запись лекции]

Лекция 6 (14.10.2022). Регуляризация, свёрточные архитектуры. [Слайды] [Запись лекции]

Лекция 7 (20.10.2022). Свёрточные архитектуры, задача сегментации. [Слайды] [Запись лекции]

Лекция 8 (03.11.2022). Детекция объектов. Идентификация, metric learning. [Слайды] [Запись лекции]

Лекция 9 (10.11.2022). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [Слайды] [Запись лекции]

Лекция 10 (17.11.2022). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [Слайды] [Запись лекции]

Лекция 11 (24.11.2022). Механизм внимания и трансформеры. [Слайды] [Запись лекции]

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (15.09.2022). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (22.09.2022). Свёртка изображений. [Тетрадка]

Семинар 3 (29.09.2022). Типичная архитектура свёрточной сети [Тетрадка]

Семинар 4 (06.10.2022). Методы оптимизации нейронных сейтей, PyTorch Lightning [Тетрадка]

Семинар 5 (14.10.2022). Transfer learning и adversarial атаки [Тетрадка]

Семинар 6 (10.11.2022). Сегментация, детекция. [Тетрадка]

Семинар 7 (17.11.2022). Эмбеддинги слов. Skip-gram Word2Vec. [Тетрадка]

Записи консультаций

Практические задания

Домашние задания выкладываются в репозиторий курса.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 20.09.2022

Мягкий дедлайн: 23:59MSK 04.10.2022

Жесткий дедлайн: 23:59MSK 10.10.2022

[Ноутбук с заданием]


Домашнее задание 2. Классификация изображений.

Дата выдачи: 12.10.2021

Мягкий дедлайн: 23:59MSK 01.11.2022

Жесткий дедлайн: 23:59MSK 08.11.2022

[Ноутбук с заданием]


Домашнее задание 3. Детекция объектов.

Дата выдачи: 27.11.2022

Мягкий дедлайн: 23:59MSK 13.12.2022

Жесткий дедлайн: 23:59MSK 18.12.2022

[Ноутбук с заданием]

Контрольная работа

Контрольная работа состоится 8 декабря во время лекции (13:00 - 14:20).

Вопросы для подготовки

Нулевой вариант

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

Страницы предыдущих лет

21/22 учебный год

20/21 учебный год