Основы глубинного обучения — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(add consultations block)
Строка 7: Строка 7:
 
Лектор — [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
 
Лектор — [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
  
−
Занятия проходят онлайн по четвергам на второй паре (11:10 - 12:30).
+
Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).
  
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
−
[https://www.hse.ru/edu/courses/346231287 Карточка курса и программа]
+
[https://www.hse.ru/edu/courses/451025042 Карточка курса и программа]
  
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
  
−
Домашние задание сдаются в Anytask: https://anytask.org/course/857
+
Домашние задание сдаются в Anytask: https://anytask.org/course/??
  
−
Канал в telegram для объявлений: https://t.me/hs_iad_2021
+
Канал в telegram для объявлений: https://t.me/hse_iad_22
  
−
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/joinchat/Vuq4Lgi98RG22fQP
+
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+pbt8rRfldsUzZGUy
  
−
Таблица с оценками: https://docs.google.com/spreadsheets/d/1b5Z_-LymzTvS-OGo7fOZCEGUt56WFkfWF8hKmtq2L7Q/edit?usp=sharing
+
Таблица с оценками: https://docs.google.com/spreadsheets/d/1VHuG476mULH9QgsXlVsL5CDf6J7BrwlKOVfOMQDXH7g/edit?usp=sharing
  
 
'''Вопросы''' по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
 
'''Вопросы''' по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
Строка 29: Строка 29:
 
|-
 
|-
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask  
 
! Группа !! Преподаватель !! Учебные ассистенты !! Zoom-конференция !! Ссылка на чат !! Инвайт в anytask  
−
|-
 
−
| ИАД-1 || Антон Семенкин || [https://t.me/nichtdeinetraumfrau Дарья Морозова], [https://t.me/caesiummm Михаил Никифоров] || [https://zoom.us/j/95783649988?pwd=ZDh0UEJvVkxYczR5VTFGbldPdEFKdz09 Zoom] ||  [https://t.me/joinchat/h66lQZ8hD5s4MGFi Чат] ||
 
−
|-
 
−
| ИАД-2 || [https://t.me/AlexeyKKovalev Алексей Ковалёв] || [https://t.me/alenaVert Алёна Вертеева], [https://t.me/egorkapiorka Егор Масликов]|| [https://zoom.us/j/98291023185?pwd=S043dEdoMHkrSG8wSWRISDF1ZUlvUT09 Zoom] ||  [https://t.me/joinchat/EJCLcBpN0J0yM2My Чат] ||
 
−
|-
 
−
| ИАД-3 || [https://t.me/kirili4ik Кирилл Гельван] || [https://t.me/tamogashev_kv Кирилл Тамогашев], [https://t.me/bwdare Дарья Матяш] || [https://zoom.us/j/93479034844?pwd=Tnp2cU85NDVWbmRhMTRNN29kd0ZmQT09 Zoom] ||  [https://t.me/joinchat/kQ-hh3YdUbc4YmMy Чат] ||
 
−
|-
 
−
|-
 
−
| ИАД-4 || [https://t.me/mikhail_h91 Михаил Гущин] || [https://t.me/aksenysh Аня Аксенова], [https://t.me/tak_ty Катя Такташева]|| [https://zoom.us/j/97982378625?pwd=VWNBa3lXTUloRW91ckZhZU9CWW4rdz09 Zoom] ||  [https://t.me/joinchat/eUGR_00mJbUwYjli Чат] ||
 
−
|-
 
−
| ИАД-5 || [https://t.me/Saigetsu Руслан Хайдуров] || [https://t.me/treaptofun Антон Барышников], [https://t.me/mogrigoryan Михаил Григорян]|| [https://zoom.us/j/99847089082?pwd=cmI3Umo3UG1mRlg4VytrcEIwV2hKUT09 Zoom] ||  [https://t.me/joinchat/CGomCy4Gn3M3NzQ6 Чат] ||
 
−
|-
 
−
| ИАД-6 || Елена Кантонистова || [https://t.me/ferekeke Елизавета Копышева] [https://t.me/kplkrpv Поликарпов Кирилл] || [https://zoom.us/j/98326366848?pwd=bFVkRnNRaVFMMUppUnAyd3BMKzBzZz09 Zoom] ||  [https://t.me/joinchat/9eLqNJpZEOFlZTcy Чат] ||
 
−
|-
 
−
| ИАД-7 || [https://t.me/OnixinO Тамерлан Таболов] || [https://t.me/debasering Николай Аверьянов] [https://t.me/greyworgen Сергей Тихонов] || [https://zoom.us/j/93343230384?pwd=QldZa1hhOGxudGdRRTIzS3A1YTdhdz09 Zoom] ||  [https://t.me/joinchat/jWnLEX7aXjgxNzFi Чат] ||
 
 
|-
 
|-
 
|}
 
|}
Строка 68: Строка 53:
  
 
=== Правила сдачи заданий ===
 
=== Правила сдачи заданий ===
 +
 +
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
 +
 +
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
  
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
  
−
При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
+
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
  
 
==Лекции==
 
==Лекции==
  
−
Все лекции лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2021/lectures на гитхабе].
 
−
 
−
'''Лекция 1''' (09.09.2021). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture01-intro.pdf Слайды]] [[https://youtu.be/62sP9QKYrgI Запись лекции]]
 
−
 
−
'''Лекция 2''' (16.09.2021). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture02-convnets.pdf Слайды]] [[https://youtu.be/aSTwlPjJfso Запись лекции]]
 
−
 
−
'''Лекция 3''' (23.09.2021). Свёртки. Поле восприятия. Параметры свёрток. Пулинг. Padding. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture03-convnets.pdf Слайды]] [[https://youtu.be/4nKWQno1vG8 Запись лекции]]
 
−
 
−
'''Лекция 4''' (30.09.2021). Извлечение признаков из свёрточных сетей. Стохастический градиентный спуск и mini-batch. Выбор размера батча. Momentum, AdaGram, Adam. Dropout. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture04-convnets-optimization.pdf Слайды]] [[https://www.youtube.com/watch?v=i8W_ZgiajOs Запись лекции]]
 
−
 
−
'''Лекция 5''' (07.10.2021). BatchNorm. Инициализации весов. Аугментация данных. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture05-convnets-optimization.pdf Слайды]] [[https://youtu.be/7ljQTZ8HT-A Запись лекции]]
 
−
 
−
'''Лекция 6''' (14.10.2021). Архитектуры свёрточных сетей. AlexNet, VGG, Inception, ResNet. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture06-convnets.pdf Слайды]] [[https://youtu.be/yL0KLqEwfv4 Запись лекции]]
 
−
 
−
'''Лекция 7''' (28.10.2021). Transfer learning. Интерпретация свёрточных сетей. Сегментация. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture07-vision.pdf Слайды]] [[https://youtu.be/vWl-vlmsomI Запись лекции]]
 
−
 
−
'''Лекция 8''' (04.11.2021). Детекция объектов. Идентификация, metric learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture08-vision.pdf Слайды]] [[https://youtu.be/Z-e_71h1Oew Запись лекции]]
 
−
 
−
'''Лекция 9''' (11.11.2021). Векторные представления слов. Word2vec. FastText. Свёрточные сети на представлениях слов. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture09-sequences.pdf Слайды]] [[https://youtu.be/_Gnh8Z2Pn_o Запись лекции]]
 
−
 
−
'''Лекция 10''' (18.11.2021). Рекуррентные модели. Проблема затухания градиентов. LSTM. Seq2seq-задачи, архитектура encoder-decoder. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture10-sequences.pdf Слайды]] [[https://www.youtube.com/watch?v=bAnx1E45rrE Запись лекции]]
 
−
 
−
'''Лекция 11''' (02.12.2021). Механизм внимания и трансформеры. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/lectures/lecture11-sequences.pdf Слайды]] [[https://youtu.be/P5wNb9Mt9RE Запись лекции]]
 
−
 
−
'''Лекция 12''' (16.12.2021). Эффективное глубинное обучение. [[ Слайды]] [[ Запись лекции]]
 
  
 
== Семинары ==
 
== Семинары ==
  
−
Все семинары тоже лежат [https://github.com/hse-ds/iad-deep-learning/tree/master/2021/seminars на гитхабе].
 
−
 
−
'''Семинар 1''' (16.09.2021). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem01/sem01.ipynb Тетрадка]]
 
−
 
−
'''Семинар 2''' (23.09.2021). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem02/sem02_task.ipynb Тетрадка]]
 
−
 
−
'''Семинар 3''' (30.09.2021). Типичная архитектура свёрточной сети [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem03/sem03_task.ipynb Тетрадка]]
 
−
 
−
'''Семинар 4''' (07.10.2021). Методы оптимизации нейронных сейтей [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem04/sem04_task.ipynb Тетрадка]]
 
−
 
−
'''Семинар 5''' (14.10.2021). Transfer learning и adversarial атаки [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem05/sem05_task.ipynb Тетрадка]]
 
−
 
−
'''Семинар 6''' (28.10.2021). Семантическая сегментация, детекция. [[https://colab.research.google.com/github/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem06/sem_06.ipynb Тетрадка]]
 
−
 
−
'''Семинар 7''' (18.11.2021). Эмбеддинги слов. Skip-gram Word2Vec. [[https://colab.research.google.com/github/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem07/sem07_task.ipynb Тетрадка]]
 
−
 
−
'''Семинар 8''' (25.11.2021). Character-Level LSTM [[https://colab.research.google.com/github/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem08/sem08_task.ipynb Тетрадка]]
 
  
−
'''Семинар 9''' (02.12.2021). Классификация последовательностей (текстов). [[https://colab.research.google.com/github/hse-ds/iad-deep-learning/blob/master/2021/seminars/sem09/sem_09_task.ipynb Тетрадка]]
 
  
 
== Записи консультаций ==
 
== Записи консультаций ==
  
−
Позже здесь появятся записи консультаций.
 
  
 
== Практические задания ==
 
== Практические задания ==
  
 
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
 
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
−
 
−
''' Домашнее задание 1.''' Введение в PyTorch. Полносвязные нейронные сети.
 
−
 
−
Дата выдачи: 06.10.2021
 
−
 
−
Мягкий дедлайн: 23:59MSK 25.10.2021
 
−
 
−
Жесткий дедлайн: 23:59MSK 28.10.2021
 
−
 
−
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw01/homework-01.ipynb Ноутбук с заданием]]
 
−
 
−
''' Домашнее задание 2.''' Классификация изображений.
 
−
 
−
Дата выдачи: 30.10.2021
 
−
 
−
Мягкий дедлайн: 23:59MSK 21.11.2021
 
−
 
−
Жесткий дедлайн: 23:59MSK 28.11.2021
 
−
 
−
[[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw02/hw2.ipynb Ноутбук с заданием]]
 
−
 
−
''' Домашнее задание 3.''' [[https://github.com/hse-ds/iad-deep-learning/tree/master/2021/homeworks/hw03 ДЗ-3 на GitHub]]
 
−
 
−
а) Контест на Kaggle: "Предсказание пользовательской оценки отеля по тексту отзыва" [[https://www.kaggle.com/t/325e82797935464aa07c254b3cc3d8ad Kaggle]], [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw03/hw3_kaggle.ipynb GitHub]]
 
−
 
−
б) Реализация трансформера с нуля [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw03/hw3_transformer.ipynb GitHub]]
 
−
 
−
в*) На 5 бонусных баллов: "Детекция фруктов и овощей на изображении" [[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw03/hw3_bonus.ipynb GitHub]]
 
−
 
−
Дата выдачи: 05.12.2021
 
−
 
−
Мягкий (он же жёсткий) дедлайн: 23:59MSK 20.12.2021
 
  
 
== Контрольная работа ==
 
== Контрольная работа ==
−
 
−
Контрольная работа состоится 9 декабря во время лекции (11:10 - 12:30).
 
−
 
−
[https://docs.google.com/document/d/1r3VSXWZX6sPJy1oYaJX1ZMGV1QTO8-TxoV_Qk_wjslc/edit?usp=sharing Вопросы для подготовки]
 
−
 
−
[https://github.com/hse-ds/iad-deep-learning/blob/master/2021/iad-dl-midterm-var0.pdf Нулевой вариант]
 
−
 
−
В варианте будет 4 вопроса.
 
−
Обратите внимание на примеры типовых задач в списке вопросов.
 
  
 
== Экзамен ==
 
== Экзамен ==
  
−
[[https://docs.google.com/document/d/1yf3wH-2LArk6Ck4KYiAarTXbNS90IFwX7nUOt_Ec_wE/edit?usp=sharing Вопросы для подготовки прошлого года]]
 
  
 
== Страницы предыдущих лет ==
 
== Страницы предыдущих лет ==
 +
 +
[[Основы_глубинного_обучения/2021_2022 | 21/22 учебный год]]
  
 
[[Современные_методы_машинного_обучения | 20/21 учебный год]]
 
[[Современные_методы_машинного_обучения | 20/21 учебный год]]
  
 
[[Category:Майнор "Интеллектуальный анализ данных"]]
 
[[Category:Майнор "Интеллектуальный анализ данных"]]

Версия 12:33, 8 сентября 2022

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на третьей паре (13:00 - 14:20).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask: https://anytask.org/course/??

Канал в telegram для объявлений: https://t.me/hse_iad_22

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/+pbt8rRfldsUzZGUy

Таблица с оценками: https://docs.google.com/spreadsheets/d/1VHuG476mULH9QgsXlVsL5CDf6J7BrwlKOVfOMQDXH7g/edit?usp=sharing

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебные ассистенты Zoom-конференция Ссылка на чат Инвайт в anytask

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Проверочные работы на лекциях
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

ПР — средняя оценка за проверочные работы

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Семинары

Записи консультаций

Практические задания

Домашние задания выкладываются в репозиторий курса. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.

Контрольная работа

Экзамен

Страницы предыдущих лет

21/22 учебный год

20/21 учебный год

Источник — «http://wiki.cs.hse.ru/index.php?title=Основы_глубинного_обучения&oldid=71941»