Основы глубинного обучения — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Экзамен)
(не показаны 32 промежуточные версии 13 участников)
Строка 15: Строка 15:
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
  
Домашние задание сдаются в Anytask:  
+
Домашние задание сдаются в Anytask: https://anytask.org/course/857
  
 
Канал в telegram для объявлений: https://t.me/hs_iad_2021
 
Канал в telegram для объявлений: https://t.me/hs_iad_2021
Строка 21: Строка 21:
 
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/joinchat/Vuq4Lgi98RG22fQP
 
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/joinchat/Vuq4Lgi98RG22fQP
  
Таблица с оценками
+
Таблица с оценками: https://docs.google.com/spreadsheets/d/1b5Z_-LymzTvS-OGo7fOZCEGUt56WFkfWF8hKmtq2L7Q/edit?usp=sharing
  
 
'''Вопросы''' по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
 
'''Вопросы''' по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
Строка 28: Строка 28:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Материалы семинаров !! Инвайт в anytask  
+
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask  
 
|-
 
|-
| ИАД-1 || Антон Семенкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/95783649988?pwd=ZDh0UEJvVkxYczR5VTFGbldPdEFKdz09 Zoom] ||  [https://t.me/joinchat/h66lQZ8hD5s4MGFi Чат] || ||
+
| ИАД-1 || Антон Семенкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/95783649988?pwd=ZDh0UEJvVkxYczR5VTFGbldPdEFKdz09 Zoom] ||  [https://t.me/joinchat/h66lQZ8hD5s4MGFi Чат] ||
 
|-
 
|-
| ИАД-2 || Алексей Ковалёв || || [https://zoom.us/j/98291023185?pwd=S043dEdoMHkrSG8wSWRISDF1ZUlvUT09 Zoom] ||  [ Чат] || ||
+
| ИАД-2 || [https://t.me/AlexeyKKovalev Алексей Ковалёв] || [https://t.me/alenaVert Алёна Вертеева], [https://t.me/egorkapiorka Егор Масликов]|| [https://zoom.us/j/98291023185?pwd=S043dEdoMHkrSG8wSWRISDF1ZUlvUT09 Zoom] ||  [https://t.me/joinchat/EJCLcBpN0J0yM2My Чат] ||
 
|-
 
|-
| ИАД-3 || Кирилл Гельман || || [https://zoom.us/j/93479034844?pwd=Tnp2cU85NDVWbmRhMTRNN29kd0ZmQT09 Zoom] ||  [ Чат] || ||
+
| ИАД-3 || [https://t.me/kirili4ik Кирилл Гельван] || [https://t.me/tamogashev_kv Кирилл Тамогашев], [https://t.me/bwdare Дарья Матяш] || [https://zoom.us/j/93479034844?pwd=Tnp2cU85NDVWbmRhMTRNN29kd0ZmQT09 Zoom] ||  [https://t.me/joinchat/kQ-hh3YdUbc4YmMy Чат] ||
 
|-
 
|-
 
|-
 
|-
| ИАД-4 || Михаил Гущин || || [https://zoom.us/j/97982378625?pwd=VWNBa3lXTUloRW91ckZhZU9CWW4rdz09 Zoom] ||  [ Чат] || ||
+
| ИАД-4 || [https://t.me/mikhail_h91 Михаил Гущин] || [https://t.me/aksenysh Аня Аксенова], [https://t.me/tak_ty Катя Такташева]|| [https://zoom.us/j/97982378625?pwd=VWNBa3lXTUloRW91ckZhZU9CWW4rdz09 Zoom] ||  [https://t.me/joinchat/eUGR_00mJbUwYjli Чат] ||
 
|-
 
|-
| ИАД-5 || Руслан Хайдуров || || [https://zoom.us/j/99847089082?pwd=cmI3Umo3UG1mRlg4VytrcEIwV2hKUT09 Zoom] ||  [ Чат] || ||
+
| ИАД-5 || [https://t.me/Saigetsu Руслан Хайдуров] || [https://t.me/treaptofun Антон Барышников], [https://t.me/mogrigoryan Михаил Григорян]|| [https://zoom.us/j/99847089082?pwd=cmI3Umo3UG1mRlg4VytrcEIwV2hKUT09 Zoom] ||  [https://t.me/joinchat/CGomCy4Gn3M3NzQ6 Чат] ||
 
|-
 
|-
| ИАД-6 || Елена Кантонистова || || [https://zoom.us/j/98326366848?pwd=bFVkRnNRaVFMMUppUnAyd3BMKzBzZz09 Zoom] ||  [ Чат] || ||
+
| ИАД-6 || Елена Кантонистова || [https://t.me/ferekeke Елизавета Копышева] [https://t.me/kplkrpv Поликарпов Кирилл] || [https://zoom.us/j/98326366848?pwd=bFVkRnNRaVFMMUppUnAyd3BMKzBzZz09 Zoom] ||  [https://t.me/joinchat/9eLqNJpZEOFlZTcy Чат] ||
 
|-
 
|-
| ИАД-7 || Тамерлан Таболов || || [https://zoom.us/j/93343230384?pwd=QldZa1hhOGxudGdRRTIzS3A1YTdhdz09 Zoom] ||  [ Чат] || ||
+
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/debasering Николай Аверьянов] [https://t.me/greyworgen Сергей Тихонов] || [https://zoom.us/j/93343230384?pwd=QldZa1hhOGxudGdRRTIzS3A1YTdhdz09 Zoom] ||  [https://t.me/joinchat/jWnLEX7aXjgxNzFi Чат] ||
 
|-
 
|-
 
|}
 
|}
Строка 75: Строка 75:
 
==Лекции==
 
==Лекции==
  
=== Семинары ===
+
Все лекции лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2021/lectures на гитхабе].
 +
 
 +
'''Лекция 1''' (09.09.2021). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://youtu.be/62sP9QKYrgI Запись лекции]]
 +
 
 +
'''Лекция 2''' (16.09.2021). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/aSTwlPjJfso Запись лекции]]
 +
 
 +
'''Лекция 3''' (23.09.2021). Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/4nKWQno1vG8 Запись лекции]]
 +
 
 +
'''Лекция 4''' (30.09.2021). Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture04-convnets-optimization.pdf Слайды]] [[https://www.youtube.com/watch?v=i8W_ZgiajOs Запись лекции]]
 +
 
 +
'''Лекция 5''' (07.10.2021). BatchNorm. Инициализации весов. Аугментация данных. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture05-convnets-optimization.pdf Слайды]] [[https://youtu.be/7ljQTZ8HT-A Запись лекции]]
 +
 
 +
'''Лекция 6''' (14.10.2021). Архитектуры свёрточных сетей. AlexNet, VGG, Inception, ResNet. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture06-convnets.pdf Слайды]] [[https://youtu.be/yL0KLqEwfv4 Запись лекции]]
 +
 
 +
'''Лекция 7''' (28.10.2021). Transfer learning. Интерпретация свёрточных сетей. Сегментация. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture07-vision.pdf Слайды]] [[https://youtu.be/vWl-vlmsomI Запись лекции]]
 +
 
 +
'''Лекция 8''' (04.11.2021). Детекция объектов. Идентификация, metric learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture08-vision.pdf Слайды]] [[https://youtu.be/Z-e_71h1Oew Запись лекции]]
 +
 
 +
'''Лекция 9''' (11.11.2021). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture09-sequences.pdf Слайды]] [[https://youtu.be/_Gnh8Z2Pn_o Запись лекции]]
 +
 
 +
'''Лекция 10''' (18.11.2021). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture10-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=bAnx1E45rrE Запись лекции]]
 +
 
 +
== Семинары ==
 +
 
 +
Все семинары тоже лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2021/seminars на гитхабе].
 +
 
 +
'''Семинар 1''' (16.09.2020). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem01/sem01.ipynb Тетрадка]]
 +
 
 +
'''Семинар 2''' (23.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem02/sem02_task.ipynb Тетрадка]]
 +
 
 +
'''Семинар 3''' (30.09.2020). Типичная архитектура свёрточной сети [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem03/sem03_task.ipynb Тетрадка]]
 +
 
 +
'''Семинар 4''' (30.09.2020). Методы оптимизации нейронных сейтей [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem04/sem04_task.ipynb Тетрадка]]
 +
 
 +
'''Семинар 5''' (30.09.2020). Transfer learning и adversarial атаки [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem05/sem05_task.ipynb Тетрадка]]
  
 
== Практические задания ==
 
== Практические задания ==
  
 
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
 
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
 +
 +
''' Домашнее задание 1.''' Введение в PyTorch. Полносвязные нейронные сети.
 +
 +
Дата выдачи: 06.10.2021
 +
 +
Мягкий дедлайн: 23:59MSK 25.10.2021
 +
 +
Жесткий дедлайн: 23:59MSK 28.10.2021
 +
 +
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw01/homework-01.ipynb Ноутбук с заданием]]
  
 
== Контрольная работа ==
 
== Контрольная работа ==
 +
 +
Контрольная работа состоится 9 декабря во время лекции (11:10 - 12:30).
 +
 +
[https://docs.google.com/document/d/1r3VSXWZX6sPJy1oYaJX1ZMGV1QTO8-TxoV_Qk_wjslc/edit?usp=sharing Вопросы для подготовки]
 +
 +
[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/iad-dl-midterm-var0.pdf Нулевой вариант]
 +
 +
В варианте будет 4 вопроса.
 +
Обратите внимание на примеры типовых задач в списке вопросов.
  
 
== Экзамен ==
 
== Экзамен ==
  
[[https://docs.google.com/document/d/1yf3wH-2LArk6Ck4KYiAarTXbNS90IFwX7nUOt_Ec_wE/edit?usp=sharing Вопросы для подготовки]]
+
[[https://docs.google.com/document/d/1yf3wH-2LArk6Ck4KYiAarTXbNS90IFwX7nUOt_Ec_wE/edit?usp=sharing Вопросы для подготовки прошлого года]]
 +
 
 +
== Страницы предыдущих лет ==
 +
 
 +
[[Современные_методы_машинного_обучения | 20/21 учебный год]]
  
 
[[Category:Майнор "Интеллектуальный анализ данных"]]
 
[[Category:Майнор "Интеллектуальный анализ данных"]]

Версия 13:09, 29 ноября 2021

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на второй паре (11:10 - 12:30).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask: https://anytask.org/course/857

Канал в telegram для объявлений: https://t.me/hs_iad_2021

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/joinchat/Vuq4Lgi98RG22fQP

Таблица с оценками: https://docs.google.com/spreadsheets/d/1b5Z_-LymzTvS-OGo7fOZCEGUt56WFkfWF8hKmtq2L7Q/edit?usp=sharing

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask
ИАД-1 Антон Семенкин Дарья Морозова, Михаил Никифоров Zoom Чат
ИАД-2 Алексей Ковалёв Алёна Вертеева, Егор Масликов Zoom Чат
ИАД-3 Кирилл Гельван Кирилл Тамогашев, Дарья Матяш Zoom Чат
ИАД-4 Михаил Гущин Аня Аксенова, Катя Такташева Zoom Чат
ИАД-5 Руслан Хайдуров Антон Барышников, Михаил Григорян Zoom Чат
ИАД-6 Елена Кантонистова Елизавета Копышева Поликарпов Кирилл Zoom Чат
ИАД-7 Тамерлан Таболов Николай Аверьянов Сергей Тихонов Zoom Чат

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Все лекции лежат на гитхабе.

Лекция 1 (09.09.2021). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (16.09.2021). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]

Лекция 3 (23.09.2021). Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding. [Слайды] [Запись лекции]

Лекция 4 (30.09.2021). Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout. [Слайды] [Запись лекции]

Лекция 5 (07.10.2021). BatchNorm. Инициализации весов. Аугментация данных. [Слайды] [Запись лекции]

Лекция 6 (14.10.2021). Архитектуры свёрточных сетей. AlexNet, VGG, Inception, ResNet. [Слайды] [Запись лекции]

Лекция 7 (28.10.2021). Transfer learning. Интерпретация свёрточных сетей. Сегментация. [Слайды] [Запись лекции]

Лекция 8 (04.11.2021). Детекция объектов. Идентификация, metric learning. [Слайды] [Запись лекции]

Лекция 9 (11.11.2021). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [Слайды] [Запись лекции]

Лекция 10 (18.11.2021). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [Слайды] [Запись лекции]

Семинары

Все семинары тоже лежат на гитхабе.

Семинар 1 (16.09.2020). Введение в глубинное обучение. Полносвязные слои. [Тетрадка]

Семинар 2 (23.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Тетрадка]

Семинар 3 (30.09.2020). Типичная архитектура свёрточной сети [Тетрадка]

Семинар 4 (30.09.2020). Методы оптимизации нейронных сейтей [Тетрадка]

Семинар 5 (30.09.2020). Transfer learning и adversarial атаки [Тетрадка]

Практические задания

Домашние задания выкладываются в репозиторий курса. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.

Домашнее задание 1. Введение в PyTorch. Полносвязные нейронные сети.

Дата выдачи: 06.10.2021

Мягкий дедлайн: 23:59MSK 25.10.2021

Жесткий дедлайн: 23:59MSK 28.10.2021

[Ноутбук с заданием]

Контрольная работа

Контрольная работа состоится 9 декабря во время лекции (11:10 - 12:30).

Вопросы для подготовки

Нулевой вариант

В варианте будет 4 вопроса. Обратите внимание на примеры типовых задач в списке вопросов.

Экзамен

[Вопросы для подготовки прошлого года]

Страницы предыдущих лет

20/21 учебный год