Основы глубинного обучения — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Добавление ИАД-5)
(→‎Практические задания)
 
(не показано 38 промежуточных версии 6 участников)
Строка 15: Строка 15:
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
  
−
Домашние задание сдаются в Anytask: https://anytask.org/course/??
+
Домашние задание сдаются в Anytask: https://anytask.org/course/973
  
 
Канал в telegram для объявлений: https://t.me/hse_iad_22
 
Канал в telegram для объявлений: https://t.me/hse_iad_22
Строка 30: Строка 30:
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask  
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask  
 
|-
 
|-
−
| ИАД-1 || [https://t.me/narekvslife Нарек Алвандян] || [https://t.me/fdrose Максим Абрахам] || [Zoom] || [Чат] ||
+
| ИАД-1 || [https://t.me/narekvslife Нарек Алвандян] || [https://t.me/fdrose Максим Абрахам], [https://t.me/leksious Панков Алексей] || [https://us06web.zoom.us/j/81867157236?pwd=SGJKbUE4ek1pbzFMUnlBR0hzUm53QT09 Zoom] || [https://t.me/+9cipubVqdyQzZWFi Чат] || JwwoioZ
 
|-
 
|-
−
| ИАД-2 || [https://t.me/egorkapiorka Егор Масликов] || [https://t.me/onehspal Ксения Лапшина], [https://t.me/poemgranate Марина Казюлина] || [https://us06web.zoom.us/j/84614236089?pwd=YmdCZHI5WUpnOC9BMm8wM1duUWlkQT09 Zoom] ||  [https://t.me/+ramSS6GUu-5jZjUy Чат] ||
+
| ИАД-2 || [https://t.me/egorkapiorka Егор Масликов] || [https://t.me/onehspal Ксения Лапшина], [https://t.me/poemgranate Марина Казюлина], [https://t.me/markusikk Столяров Марк] || [https://us06web.zoom.us/j/84614236089?pwd=YmdCZHI5WUpnOC9BMm8wM1duUWlkQT09 Zoom] ||  [https://t.me/+ramSS6GUu-5jZjUy Чат] || ooHht2A
 
|-
 
|-
−
| ИАД-3 || Антон Семенкин || [https://t.me/ipomeya31 Александр Плахин], [https://t.me/caesiummm Михаил Никифоров] || [https://youtube.com/watch?v=dQw4w9WgXcQ Zoom] || [https://t.me/+dZv3HU7DA21lOGVi Чат] ||
+
| ИАД-3 || [https://t.me/topshik Антон Семенкин] || [https://t.me/ipomeya31 Александр Плахин], [https://t.me/caesiummm Михаил Никифоров], [https://t.me/leksious Панков Алексей] || [https://youtube.com/watch?v=dQw4w9WgXcQ Zoom] || [https://t.me/+dZv3HU7DA21lOGVi Чат] || QtGBL8Q
 
|-
 
|-
−
| ИАД-5 || [https://t.me/mikhail_h91 Михаил Гущин] || [https://t.me/like_ml Люткин Дмитрий], [https://t.me/bwdare Дарья] || [https://us06web.zoom.us/j/89650113424?pwd=NHAwWU00SHA1MFBPcXVmTjgwTkRFUT09 Zoom] ||  [https://t.me/+aqvAoLPugKwyMzli Чат] ||
+
| ИАД-4 || [https://t.me/murr4a Елена Кантонистова] || [https://t.me/markblumenau Блуменау Марк], [https://t.me/arorlov Червяков Артем], [https://t.me/elsetrue Негматов Сорбон] || [https://us06web.zoom.us/j/85916791908pwd=MWdhamtrcmdRM2E4cFlEV1IrQng2dz09 Zoom] || [https://t.me/+X8uOKcEVZhhjYTAy Чат] || bKWTe7O
 +
 
 +
|-
 +
| ИАД-5 || [https://t.me/mikhail_h91 Михаил Гущин] || [https://t.me/like_ml Люткин Дмитрий], [https://t.me/bwdare Матяш Дарья] || [https://us06web.zoom.us/j/89650113424?pwd=NHAwWU00SHA1MFBPcXVmTjgwTkRFUT09 Zoom] ||  [https://t.me/+aqvAoLPugKwyMzli Чат] || 4xYt5jF
 
|-
 
|-
−
| ИАД-6 || [https://t.me/buntar29 Макс Карпов] || [https://t.me/ipomeya31 Александр Плахин], [https://t.me/Nikita_Ki33elev Никита Киселев] || [https://us06web.zoom.us/j/82384327112?pwd=MUpsWnN6b1MxaTl6OEw3QlZoMENYdz09 Zoom] ||  [https://t.me/+nMzxNMJQuaY3ZWZi Чат] ||
+
| ИАД-6 || [https://t.me/buntar29 Макс Карпов] || [https://t.me/Nikita_Ki33elev Никита Киселев], [https://t.me/tssorokina Сорокина Татьяна], [https://t.me/artyom_grom Громов Артем] || [https://us06web.zoom.us/j/81920429989?pwd=MFBxUmkwb0dQT2hHTHFCdzNUdmNpZz09 Zoom] ||  [https://t.me/+nMzxNMJQuaY3ZWZi Чат] || SUWLRyf
 
|-
 
|-
−
| ИАД-7 || [https://t.me/kirili4ik Гельван Кирилл] || [https://t.me/ongalek Смоленчук Иван], [https://t.me/elineii Костромина Алина]|| [Zoom] ||  [https://t.me/+iN0XaeTPw_llMDgy Чат] ||
+
| ИАД-7 || [https://t.me/kirili4ik Гельван Кирилл] || [https://t.me/ongalek Смоленчук Иван], [https://t.me/elineii Костромина Алина]|| [https://us06web.zoom.us/j/87205468755?pwd=cmtQOHBaanRqMEFEell4V29KVHQ2UT09 Zoom] ||  [https://t.me/+iN0XaeTPw_llMDgy Чат] || rSfrcJa
 
|-
 
|-
−
| ИАД-10 || [https://t.me/AlexeyKKovalev Алексей Ковалёв] || [https://t.me/masstermax Максим Гудзикевич]|| [Zoom] ||  [https://t.me/+ln6VEh60LgBkNGQ6 Чат] ||
+
| ИАД-9 || [https://t.me/bredikhin_alexander Александр Бредихин] || [https://t.me/bwdare Матяш Дарья], [https://t.me/veronika_diaf Вероника Яшина] || [https://us06web.zoom.us/j/88444818446?pwd=akxldlVLeVFqalVMamo2VmVhZnlHQT09 Zoom] ||  [https://t.me/+Qe61R4d7hJI2Mzgy Чат] || WxGLiNs
 +
|-
 +
| ИАД-10 || [https://t.me/AlexeyKKovalev Алексей Ковалёв] || [https://t.me/masstermax Максим Гудзикевич], [https://t.me/anastasia_gubina Губина Анастасия], [https://t.me/artyom_grom Громов Артем] || [https://us06web.zoom.us/j/84656657023?pwd=Q0lZVkRZZUtCS3lFMG5jTFMyMGlsUT09 Zoom] ||  [https://t.me/+ln6VEh60LgBkNGQ6 Чат] || XuqSEAb
 
|}
 
|}
  
Строка 77: Строка 82:
 
==Лекции==
 
==Лекции==
  
 +
Все лекции лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2022/lectures на гитхабе].
 +
 +
'''Лекция 1''' (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture01-intro.pdf Слайды]] [[https://youtu.be/-VH7bIoxYp8 Запись лекции]]
 +
 +
'''Лекция 2''' (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/2fPB3Je7E98 Запись лекции]]
 +
 +
'''Лекция 3''' (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/F53pfjKK0gc Запись лекции]]
 +
 +
'''Лекция 4''' (29.09.2022).Параметры свёрток. Пулинг. Padding. Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture04-convnets-optimization.pdf Слайды]] [[https://www.youtube.com/watch?v=G3VjGWTsoSA Запись лекции]]
 +
 +
'''Лекция 5''' (06.10.2022). Выбор размера батча. Momentum, AdaGram, Adam. Dropout. BatchNorm. Инициализации весов. Аугментация данных. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture05-convnets-optimization.pdf Слайды]] [[https://youtu.be/2J4XAGBm5R8 Запись лекции]]
 +
 +
'''Лекция 6''' (14.10.2022). Регуляризация, свёрточные архитектуры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture06-convnets.pdf Слайды]] [[https://youtu.be/xQRJpFF_NRw Запись лекции]]
 +
 +
'''Лекция 7''' (20.10.2022). Свёрточные архитектуры, задача сегментации. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture07-convnets.pdf Слайды]] [[https://youtu.be/nsqEJwugQfo Запись лекции]]
 +
 +
'''Лекция 8''' (03.11.2022). Детекция объектов. Идентификация, metric learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture08-vision.pdf Слайды]] [[https://youtu.be/WAusZZxx1bE Запись лекции]]
 +
 +
'''Лекция 9''' (10.11.2022). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture09-sequences.pdf Слайды]] [[https://youtu.be/GyI5X82NEn8 Запись лекции]]
 +
 +
'''Лекция 10''' (17.11.2022). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture10-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=It4-Hg9QNhw Запись лекции]]
 +
 +
'''Лекция 11''' (24.11.2022). Механизм внимания и трансформеры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции]]
  
 
== Семинары ==
 
== Семинары ==
 +
Все семинары тоже лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2022/seminars на гитхабе].
  
 +
'''Семинар 1''' (15.09.2022). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem01/sem01.ipynb Тетрадка]]
  
 +
'''Семинар 2''' (22.09.2022). Свёртка изображений. [[https://github.com/hse-ds/iad-deep-learning/tree/master/2022/seminars/sem02 Тетрадка]]
  
−
== Записи консультаций ==
+
'''Семинар 3''' (29.09.2022). Типичная архитектура свёрточной сети [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem03/sem03_task.ipynb Тетрадка]]
  
 +
'''Семинар 4''' (06.10.2022). Методы оптимизации нейронных сейтей, PyTorch Lightning [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem04/sem04_task.ipynb Тетрадка]]
 +
 +
'''Семинар 5''' (14.10.2022). Transfer learning и adversarial атаки [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem05/sem05_task.ipynb Тетрадка]]
 +
 +
'''Семинар 6''' (10.11.2022). Сегментация, детекция. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem06/sem06_solved.ipynb Тетрадка]]
 +
 +
'''Семинар 7''' (17.11.2022). Эмбеддинги слов. Skip-gram Word2Vec. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/seminars/sem07/sem07_solved.ipynb Тетрадка]]
 +
 +
== Записи консультаций ==
  
 
== Практические задания ==
 
== Практические задания ==
  
−
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
+
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса].
 +
 
 +
''' Домашнее задание 1.''' Введение в PyTorch. Полносвязные нейронные сети.
 +
 
 +
Дата выдачи: 20.09.2022
 +
 
 +
Мягкий дедлайн: 23:59MSK 04.10.2022
 +
 
 +
Жесткий дедлайн: 23:59MSK 10.10.2022
 +
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/homeworks/hw1/homework-01.ipynb Ноутбук с заданием]]
 +
 
 +
 
 +
''' Домашнее задание 2.''' Классификация изображений.
 +
 
 +
Дата выдачи: 12.10.2021
 +
 
 +
Мягкий дедлайн: 23:59MSK 01.11.2022
 +
 
 +
Жесткий дедлайн: 23:59MSK 08.11.2022
 +
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/homeworks/hw2/hw_2.ipynb Ноутбук с заданием]]
 +
 
 +
 
 +
''' Домашнее задание 3.''' Детекция объектов.
 +
 
 +
Дата выдачи: 27.11.2022
 +
 
 +
Мягкий дедлайн: 23:59MSK 18.12.2022
 +
 
 +
Жесткий дедлайн: 23:59MSK 19.12.2022
 +
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2022/homeworks/hw3.ipynb Ноутбук с заданием]]
  
 
== Контрольная работа ==
 
== Контрольная работа ==
 +
 +
Контрольная работа состоится 8 декабря во время лекции (13:00 - 14:20).
 +
 +
[https://docs.google.com/document/d/1CoibtsjuSTA7VvvOFFL8mQQ5U3FkTsU-sfEPGgU5joU/edit?usp=sharing Вопросы для подготовки]
 +
 +
[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/iad-dl-midterm-var0.pdf Нулевой вариант]
 +
 +
В варианте будет 4 вопроса.
 +
Обратите внимание на примеры типовых задач в списке вопросов.
  
 
== Экзамен ==
 
== Экзамен ==

Текущая версия на 03:48, 18 декабря 2022

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask: https://anytask.org/course/973

Канал в telegram для объявлений: https://t.me/hse_iad_22

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+pbt8rRfldsUzZGUy

Таблица с оценками: https://docs.google.com/spreadsheets/d/1VHuG476mULH9QgsXlVsL5CDf6J7BrwlKOVfOMQDXH7g/edit?usp=sharing

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 Нарек Алвандян Максим Абрахам, Панков Алексей Zoom Чат JwwoioZ
ИАД-2 Егор Масликов Ксения Лапшина, Марина Казюлина, Столяров Марк Zoom Чат ooHht2A
ИАД-3 Антон Семенкин Александр Плахин, Михаил Никифоров, Панков Алексей Zoom Чат QtGBL8Q
ИАД-4 Елена Кантонистова Блуменау Марк, Червяков Артем, Негматов Сорбон Zoom Чат bKWTe7O
ИАД-5 Михаил Гущин Люткин Дмитрий, Матяш Дарья Zoom Чат 4xYt5jF
ИАД-6 Макс Карпов Никита Киселев, Сорокина Татьяна, Громов Артем Zoom Чат SUWLRyf
ИАД-7 Гельван Кирилл Смоленчук Иван, Костромина Алина Zoom Чат rSfrcJa
ИАД-9 Александр Бредихин Матяш Дарья, Вероника Яшина Zoom Чат WxGLiNs
ИАД-10 Алексей Ковалёв Максим Гудзикевич, Губина Анастасия, Громов Артем Zoom Чат XuqSEAb

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат на гитхабе.

Лекция 1 (08.09.2022). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (15.09.2022). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]

Лекция 3 (22.09.2022). Свёртки. Поле восприятия. Параметры свёрток. [Слайды] [Запись лекции]

Лекция 4 (29.09.2022).Параметры свёрток. Пулинг. Padding. Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. [Слайды] [Запись лекции]

Лекция 5 (06.10.2022). Выбор размера батча. Momentum, AdaGram, Adam. Dropout. BatchNorm. Инициализации весов. Аугментация данных. [Слайды] [Запись лекции]

Лекция 6 (14.10.2022). Регуляризация, свёрточные архитектуры. [Слайды] [Запись лекции]

Лекция 7 (20.10.2022). Свёрточные архитектуры, задача сегментации. [Слайды] [Запись лекции]

Лекция 8 (03.11.2022). Детекция объектов. Идентификация, metric learning. [Слайды] [Запись лекции]

Лекция 9 (10.11.2022). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [Слайды] [Запись лекции]

Лекция 10 (17.11.2022). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [Слайды] [Запись лекции]

Лекция 11 (24.11.2022). Механизм внимания и трансформеры. [Слайды] [Запись лекции]

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (15.09.2022). Pytorch и напоминание numpy. Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (22.09.2022). Свёртка изображений. [Тетрадка]

Семинар 3 (29.09.2022). Типичная архитектура свёрточной сети [Тетрадка]

Семинар 4 (06.10.2022). Методы оптимизации нейронных сейтей, PyTorch Lightning [Тетрадка]

Семинар 5 (14.10.2022). Transfer learning и adversarial атаки [Тетрадка]

Семинар 6 (10.11.2022). Сегментация, детекция. [Тетрадка]

Семинар 7 (17.11.2022). Эмбеддинги слов. Skip-gram Word2Vec. [Тетрадка]

Записи консультаций

Практические задания

Домашние задания выкладываются в репозиторий курса.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 20.09.2022

Мягкий дедлайн: 23:59MSK 04.10.2022

Жесткий дедлайн: 23:59MSK 10.10.2022

[Ноутбук с заданием]


Домашнее задание 2. Классификация изображений.

Дата выдачи: 12.10.2021

Мягкий дедлайн: 23:59MSK 01.11.2022

Жесткий дедлайн: 23:59MSK 08.11.2022

[Ноутбук с заданием]


Домашнее задание 3. Детекция объектов.

Дата выдачи: 27.11.2022

Мягкий дедлайн: 23:59MSK 18.12.2022

Жесткий дедлайн: 23:59MSK 19.12.2022

[Ноутбук с заданием]

Контрольная работа

Контрольная работа состоится 8 декабря во время лекции (13:00 - 14:20).

Вопросы для подготовки

Нулевой вариант

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

Страницы предыдущих лет

21/22 учебный год

20/21 учебный год

Источник — «http://wiki.cs.hse.ru/index.php?title=Основы_глубинного_обучения&oldid=74997»