Основы глубинного обучения — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Правила выставления оценок)
(Добавил 4 и 5 семинары и ссылки на все лекции и семинары.)
(не показаны 34 промежуточные версии 13 участников)
Строка 26: Строка 26:
  
 
=== Семинары ===
 
=== Семинары ===
 +
{| class="wikitable"
 +
|-
 +
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask
 +
|-
 +
| ИАД-1 || Антон Семенкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/95783649988?pwd=ZDh0UEJvVkxYczR5VTFGbldPdEFKdz09 Zoom] ||  [https://t.me/joinchat/h66lQZ8hD5s4MGFi Чат] ||
 +
|-
 +
| ИАД-2 || [https://t.me/AlexeyKKovalev Алексей Ковалёв] || [https://t.me/alenaVert Алёна Вертеева], [https://t.me/egorkapiorka Егор Масликов]|| [https://zoom.us/j/98291023185?pwd=S043dEdoMHkrSG8wSWRISDF1ZUlvUT09 Zoom] ||  [https://t.me/joinchat/EJCLcBpN0J0yM2My Чат] ||
 +
|-
 +
| ИАД-3 || [https://t.me/kirili4ik Кирилл Гельван] || [https://t.me/tamogashev_kv Кирилл Тамогашев], [https://t.me/bwdare Дарья Матяш] || [https://zoom.us/j/93479034844?pwd=Tnp2cU85NDVWbmRhMTRNN29kd0ZmQT09 Zoom] ||  [https://t.me/joinchat/kQ-hh3YdUbc4YmMy Чат] ||
 +
|-
 +
|-
 +
| ИАД-4 || [https://t.me/mikhail_h91 Михаил Гущин] || [https://t.me/aksenysh Аня Аксенова], [https://t.me/tak_ty Катя Такташева]|| [https://zoom.us/j/97982378625?pwd=VWNBa3lXTUloRW91ckZhZU9CWW4rdz09 Zoom] ||  [https://t.me/joinchat/eUGR_00mJbUwYjli Чат] ||
 +
|-
 +
| ИАД-5 || [https://t.me/Saigetsu Руслан Хайдуров] || [https://t.me/treaptofun Антон Барышников], [https://t.me/mogrigoryan Михаил Григорян]|| [https://zoom.us/j/99847089082?pwd=cmI3Umo3UG1mRlg4VytrcEIwV2hKUT09 Zoom] ||  [https://t.me/joinchat/CGomCy4Gn3M3NzQ6 Чат] ||
 +
|-
 +
| ИАД-6 || Елена Кантонистова || [https://t.me/ferekeke Елизавета Копышева] [https://t.me/kplkrpv Поликарпов Кирилл] || [https://zoom.us/j/98326366848?pwd=bFVkRnNRaVFMMUppUnAyd3BMKzBzZz09 Zoom] ||  [https://t.me/joinchat/9eLqNJpZEOFlZTcy Чат] ||
 +
|-
 +
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/debasering Николай Аверьянов] [https://t.me/greyworgen Сергей Тихонов] || [https://zoom.us/j/93343230384?pwd=QldZa1hhOGxudGdRRTIzS3A1YTdhdz09 Zoom] ||  [https://t.me/joinchat/jWnLEX7aXjgxNzFi Чат] ||
 +
|-
 +
|}
  
 
=== Правила выставления оценок ===
 
=== Правила выставления оценок ===
Строка 55: Строка 75:
 
==Лекции==
 
==Лекции==
  
Лекция 1 (10.09.2020). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=mwjQaNt8qxk Запись лекции]]
+
Все лекции лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2021/lectures на гитхабе].
  
Лекция 2 (17.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture02-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=kKwrhvSATQg Запись лекции]]
+
'''Лекция 1''' (09.09.2020). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://youtu.be/62sP9QKYrgI Запись лекции]]
  
Лекция 3 (24.09.2020). Поле восприятия. Преобразования в свёрточных сетях. Типичная архитектура свёрточной нейронной сети. Выходы последних слоёв свёрточных сетей как дескрипторы изображений. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture03-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=EhVLDAOejlM Запись лекции]]
+
'''Лекция 2''' (16.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/aSTwlPjJfso Запись лекции]]
  
Лекция 4 (01.10.2020). Стохастический градиентный спуск. Mini-batch. Momentum, AdaGrad, RMSProp, Adam. Регуляризация нейронных сетей и Dropout. Batch normalization. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture04-optimization.pdf Слайды]] [[https://youtu.be/V_rv-z4Y87o Запись лекции]]
+
'''Лекция 3''' (23.09.2020). Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/4nKWQno1vG8 Запись лекции]]
  
Лекция 5 (08.10.2020). Инициализация весов и аугментация. Архитектуры свёрточных сетей: LeNet, AlexNet, VGG, Inception, ResNet. Tranfer learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture05-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=fGodAVUHPmQ Запись лекции]]
+
'''Лекция 4''' (30.09.2020). Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture04-convnets-optimization.pdf Слайды]] [[https://www.youtube.com/watch?v=i8W_ZgiajOs Запись лекции]]
  
Лекция 6 (15.10.2020). Интерпретация нейронных сетей. Задача семантической сегментации. Метрики качества сегментации, categorical cross-entropy. Fully Convolutional Networks. U-Net. Dilated convolutions. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture06-vision.pdf Слайды]] [[https://www.youtube.com/watch?v=gnwG5agGsJ4 Запись лекции]]
+
== Семинары ==
  
Лекция 7 (29.10.2020). Детекция объектов. Двухшаговые (R-CNN, Fast R-CNN, Faster R-CNN) и одношаговые (YOLO) методы. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture07-vision.pdf Слайды]] [[https://www.youtube.com/watch?v=H2USdVCoZt0 Запись лекции]]
+
Все семинары тоже лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2021/seminars на гитхабе].
  
Лекция 8 (05.11.2020). Идентификация объектов. Триплетная функция потерь и обучение расстояний. Обучение без учителя и автокодировщики. Denoising autoencoders. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture08-unsupervised.pdf Слайды]] [[https://www.youtube.com/watch?v=yqkja2262Fc Запись лекции]]
+
'''Семинар 1''' (16.09.2020). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem01/sem01.ipynb Тетрадка]]
  
Лекция 9 (12.11.2020). Представления слов. word2vec и fasttext. Свёрточные архитектуры для последовательностей. Основы рекуррентных нейронных сетей. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture09-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=AXb2BfdfPfo Запись лекции]]
+
'''Семинар 2''' (23.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem02/sem02_task.ipynb Тетрадка]]
  
Лекция 10 (26.11.2020). Обучение рекуррентных сетей, BPTT. Проблема затухания градиентов в рекуррентных сетях, LSTM. Seq2seq-модели. Механизм внимания. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture10-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=vG1gXhx0tRc Запись лекции]]
+
'''Семинар 3''' (30.09.2020). Типичная архитектура свёрточной сети [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem03/sem03_task.ipynb Тетрадка]]
  
==Семинары==
+
'''Семинар 4''' (30.09.2020). Методы оптимизации нейронных сейтей [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem04/sem04_task.ipynb Тетрадка]]
Семинар 1 (17.09.2020). Знакомство с pytorch. Тензоры, градиенты, датасеты, даталоадеры. Моя первая нейросеть. [[https://www.youtube.com/watch?v=XW_99QmdDzk&feature=youtu.be Запись (Руслан Хайдуров)]]
+
 
 +
'''Семинар 5''' (30.09.2020). Transfer learning и adversarial атаки [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem05/sem05_task.ipynb Тетрадка]]
  
 
== Практические задания ==
 
== Практические задания ==
Строка 82: Строка 103:
 
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
 
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
  
== Контрольная работа ==
+
''' Домашнее задание 1.''' Введение в PyTorch. Полносвязные нейронные сети.
  
Контрольная работа состоится 3 декабря во время лекции (11:10 - 12:30).
+
Дата выдачи: 06.10.2021
  
[https://docs.google.com/document/d/14B_qoj_tt4tgNCgbWCA5hI9FP7FNuHDbdoeoa8Qknw8/edit?usp=sharing Вопросы для подготовки]
+
Мягкий дедлайн: 23:59MSK 25.10.2021
  
В варианте будет 4 вопроса.
+
Жесткий дедлайн: 23:59MSK 28.10.2021
Обратите внимание на примеры типовых задач в списке вопросов.
+
 
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw01/homework-01.ipynb Ноутбук с заданием]]
 +
 
 +
== Контрольная работа ==
  
 
== Экзамен ==
 
== Экзамен ==
  
 
[[https://docs.google.com/document/d/1yf3wH-2LArk6Ck4KYiAarTXbNS90IFwX7nUOt_Ec_wE/edit?usp=sharing Вопросы для подготовки]]
 
[[https://docs.google.com/document/d/1yf3wH-2LArk6Ck4KYiAarTXbNS90IFwX7nUOt_Ec_wE/edit?usp=sharing Вопросы для подготовки]]
 +
 +
== Страницы предыдущих лет ==
 +
 +
[[Современные_методы_машинного_обучения | 20/21 учебный год]]
  
 
[[Category:Майнор "Интеллектуальный анализ данных"]]
 
[[Category:Майнор "Интеллектуальный анализ данных"]]

Версия 14:31, 18 октября 2021

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на второй паре (11:10 - 12:30).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask:

Канал в telegram для объявлений: https://t.me/hs_iad_2021

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/joinchat/Vuq4Lgi98RG22fQP

Таблица с оценками

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 Антон Семенкин Дарья Морозова, Михаил Никифоров Zoom Чат
ИАД-2 Алексей Ковалёв Алёна Вертеева, Егор Масликов Zoom Чат
ИАД-3 Кирилл Гельван Кирилл Тамогашев, Дарья Матяш Zoom Чат
ИАД-4 Михаил Гущин Аня Аксенова, Катя Такташева Zoom Чат
ИАД-5 Руслан Хайдуров Антон Барышников, Михаил Григорян Zoom Чат
ИАД-6 Елена Кантонистова Елизавета Копышева Поликарпов Кирилл Zoom Чат
ИАД-7 Тамерлан Таболов Николай Аверьянов Сергей Тихонов Zoom Чат

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат на гитхабе.

Лекция 1 (09.09.2020). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (16.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]

Лекция 3 (23.09.2020). Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding. [Слайды] [Запись лекции]

Лекция 4 (30.09.2020). Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout. [Слайды] [Запись лекции]

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (16.09.2020). Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (23.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Тетрадка]

Семинар 3 (30.09.2020). Типичная архитектура свёрточной сети [Тетрадка]

Семинар 4 (30.09.2020). Методы оптимизации нейронных сейтей [Тетрадка]

Семинар 5 (30.09.2020). Transfer learning и adversarial атаки [Тетрадка]

Практические задания

Домашние задания выкладываются в репозиторий курса. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 06.10.2021

Мягкий дедлайн: 23:59MSK 25.10.2021

Жесткий дедлайн: 23:59MSK 28.10.2021

[Ноутбук с заданием]

Контрольная работа

Экзамен

[Вопросы для подготовки]

Страницы предыдущих лет

20/21 учебный год