Современные методы машинного обучения — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Новая страница: «== О курсе == Курс читается для студентов 3-го курса [https://electives.hse.ru/minor_intel/ майнора ИАД] в 1-2 м…»)
 
м (Информация иад2)
(не показано 20 промежуточных версии 7 участников)
Строка 5: Строка 5:
 
Проводится с 2015 года.
 
Проводится с 2015 года.
  
Организационные вопросы можно задавать [http://www.hse.ru/staff/esokolov Соколову Евгению Андреевичу]
+
Лектор — [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
  
Занятия проходят по четвергам онлайн на второй паре (11:10 - 12:30).
+
Занятия проходят онлайн по четвергам на второй паре (11:10 - 12:30).
  
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
[https://www.hse.ru/ba/ami/courses/292743107.html Карточка курса и программа]
+
[https://www.hse.ru/edu/courses/346235110 Карточка курса и программа]
  
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
 
Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning
Строка 17: Строка 17:
 
Домашние задание сдаются в Anytask:  
 
Домашние задание сдаются в Anytask:  
  
Канал в telegram для объявлений:  
+
Канал в telegram для объявлений: https://t.me/hse_minor_intro_dm_2020
  
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/joinchat/A5rlQBSn7ROATFOWGlzRwg
+
Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/iad_flood
  
[ Таблица с оценками]
+
[https://docs.google.com/spreadsheets/d/1O6TcqNniwQ2dw-xpK04S1ufWQh42w5hwMEITgJQIEjk/edit?usp=sharing Таблица с оценками]
  
Оставить отзыв на курс: [ форма]
+
'''Вопросы''' по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
 
+
'''Вопросы''' по курсу можно задавать в телеграм куратору курса (esokolov@), семинаристу, в чатах групп или в issues на [https://github.com/hse-ds/iad-deep-learning гитхабе].
+
  
 
=== Семинары ===
 
=== Семинары ===
Строка 31: Строка 29:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
! Группа !! Преподаватель !! Учебный ассистент || Инвайт в anytask
+
! Группа !! Преподаватель !! Учебный ассистент || Инвайт в anytask || Чатик в телеграм
 
|-
 
|-
| ИАД-1 || || ||
+
| ИАД-1 || Алексей Ковалёв || Алёна Вертеева || tVc06Tf || https://t.me/joinchat/GJZR7hjEVqoQWjj_iB0k6Q
 
|-
 
|-
| ИАД-2 || ||  ||
+
| ИАД-2 || Трофимова Юлия ||  Юра Саночкин, Ирина Трояновская || Xw1bmE5 || https://t.me/joinchat/EB0BRhO_FZvAzD6ryUnxMQ
 
|-
 
|-
| ИАД-3 || ||  ||
+
| ИАД-3 || Руслан Хайдуров || Соня Дымченко, Анатолий Пащенко || ev2HwBx || https://t.me/joinchat/C232lhy4wn6Pp7epNt-qYQ
 
|-
 
|-
| ИАД-4 || ||  ||
+
| ИАД-4 || Кузнецов Максим ||  || Xn6pJSM ||  
 
|-
 
|-
| ИАД-5 ||  ||  ||
+
| ИАД-5 ||  Багиян Нерсес || Алексей Милоградский || 6OfvD88 || https://t.me/joinchat/Atx7Lkvi60FI1RJhJd8XwQ
 
|-
 
|-
 +
| ИАД-6 ||  Чесаков Даниил || Ольга Быстрова || qbB0bf0 || https://t.me/joinchat/ES5w2w4fersnpdf0UWoMNw
 
|}
 
|}
  
Строка 48: Строка 47:
  
 
В курсе предусмотрено несколько форм контроля знания:
 
В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с онлайн-курсов и семинаров
 
 
* Практические домашние работы на Python
 
* Практические домашние работы на Python
 
* Контрольная где-то в середине курса
 
* Контрольная где-то в середине курса
 
* Письменный экзамен
 
* Письменный экзамен
 
Также в рамках курса студенты могут изучить онлайн-курс How to Win a Data Science Competition. За его успешное прохождение будет выставлено 10 бонусных баллов, которые можно прибавить к оценке за любое из домашних заданий или за любую проверочную работу. Чтобы получить эти баллы, курс надо сдать до 18 декабря включительно.
 
  
 
Итоговая оценка вычисляется по формуле:
 
Итоговая оценка вычисляется по формуле:
  
Округление(0.4 * ДЗ + 0.1 * ПР + 0.2 * КР + 0.3 * Э)
+
Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)
  
 
ДЗ — средняя оценка за практические домашние задания
 
ДЗ — средняя оценка за практические домашние задания
 
ПР — средняя оценка за проверочные работы на семинарах
 
  
 
КР — оценка за контрольную работу
 
КР — оценка за контрольную работу
Строка 73: Строка 67:
 
При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
 
При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
  
==Онлайн-курсы==
+
==Лекции==
  
Дисциплина сопровождается двумя онлайн-курсами: [https://www.coursera.org/learn/intro-to-deep-learning Introduction to Deep learning] и [https://www.coursera.org/learn/competitive-data-science How to Win a Data Science Competition].
+
Лекция 1 (10.09.2020). Введение в глубинное обучение. Полносвязные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture01-intro.pdf Слайды]] [[https://www.youtube.com/watch?v=mwjQaNt8qxk Запись лекции]]
  
Курс Introduction to Deep learning не нужно проходить полностью — требуется лишь смотреть видео из него. Мы будем сообщать, к какому моменту что надо посмотреть.
+
Лекция 2 (17.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture02-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=kKwrhvSATQg Запись лекции]]
  
Курс How to Win a Data Science Competition нужно полностью сдать на Coursera. Оценка за него войдёт в итоговую оценку.
+
Лекция 3 (24.09.2020). Поле восприятия. Преобразования в свёрточных сетях. Типичная архитектура свёрточной нейронной сети. Выходы последних слоёв свёрточных сетей как дескрипторы изображений. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture03-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=EhVLDAOejlM Запись лекции]]
  
==Семинары==
+
Лекция 4 (01.10.2020). Стохастический градиентный спуск. Mini-batch. Momentum, AdaGrad, RMSProp, Adam. Регуляризация нейронных сетей и Dropout. Batch normalization. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture04-optimization.pdf Слайды]] [[https://youtu.be/V_rv-z4Y87o Запись лекции]]
  
 +
Лекция 5 (08.10.2020). Инициализация весов и аугментация. Архитектуры свёрточных сетей: LeNet, AlexNet, VGG, Inception, ResNet. Tranfer learning. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture05-convnets.pdf Слайды]] [[https://www.youtube.com/watch?v=fGodAVUHPmQ Запись лекции]]
  
== Практические задания ==
+
Лекция 6 (15.10.2020). Интерпретация нейронных сетей. Задача семантической сегментации. Метрики качества сегментации, categorical cross-entropy. Fully Convolutional Networks. U-Net. Dilated convolutions. [[https://github.com/hse-ds/iad-deep-learning/blob/master/lectures/lecture06-vision.pdf Слайды]] [[https://www.youtube.com/watch?v=gnwG5agGsJ4 Запись лекции]]
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается один балл. После жёсткого дедлайна задания не принимаются.
+
  
'''Домашнее задание 1'''
+
==Семинары==
 +
Семинар 1 (17.09.2020). Знакомство с pytorch. Тензоры, градиенты, датасеты, даталоадеры. Моя первая нейросеть. [[https://www.youtube.com/watch?v=XW_99QmdDzk&feature=youtu.be Запись (Руслан Хайдуров)]]
  
 +
== Практические задания ==
  
 
+
Домашние задания выкладываются в [https://github.com/hse-ds/iad-deep-learning репозиторий курса]. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.
'''Домашнее задание 2'''
+
 
+
 
+
 
+
'''Домашнее задание 3'''
+
 
+
  
 
== Контрольная работа ==
 
== Контрольная работа ==

Версия 13:39, 16 октября 2020

О курсе

Курс читается для студентов 3-го курса майнора ИАД в 1-2 модулях.

Проводится с 2015 года.

Лектор — Соколов Евгений Андреевич

Занятия проходят онлайн по четвергам на второй паре (11:10 - 12:30).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами: https://github.com/hse-ds/iad-deep-learning

Домашние задание сдаются в Anytask:

Канал в telegram для объявлений: https://t.me/hse_minor_intro_dm_2020

Чат в telegram (осторожно, риск флуда и отсутствия ответов на содержательные вопросы): https://t.me/iad_flood

Таблица с оценками

Вопросы по курсу можно задавать в телеграм лектору (@esokolov), семинаристу, в чатах групп или в issues на гитхабе.

Семинары

Группа Преподаватель Учебный ассистент Инвайт в anytask Чатик в телеграм
ИАД-1 Алексей Ковалёв Алёна Вертеева tVc06Tf https://t.me/joinchat/GJZR7hjEVqoQWjj_iB0k6Q
ИАД-2 Трофимова Юлия Юра Саночкин, Ирина Трояновская Xw1bmE5 https://t.me/joinchat/EB0BRhO_FZvAzD6ryUnxMQ
ИАД-3 Руслан Хайдуров Соня Дымченко, Анатолий Пащенко ev2HwBx https://t.me/joinchat/C232lhy4wn6Pp7epNt-qYQ
ИАД-4 Кузнецов Максим Xn6pJSM
ИАД-5 Багиян Нерсес Алексей Милоградский 6OfvD88 https://t.me/joinchat/Atx7Lkvi60FI1RJhJd8XwQ
ИАД-6 Чесаков Даниил Ольга Быстрова qbB0bf0 https://t.me/joinchat/ES5w2w4fersnpdf0UWoMNw

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Практические домашние работы на Python
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется по формуле:

Округление(0.5 * ДЗ + 0.2 * КР + 0.3 * Э)

ДЗ — средняя оценка за практические домашние задания

КР — оценка за контрольную работу

Э — оценка за экзамен

Правила сдачи заданий

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Лекция 1 (10.09.2020). Введение в глубинное обучение. Полносвязные слои. [Слайды] [Запись лекции]

Лекция 2 (17.09.2020). Метод обратного распространения ошибки. Свёртки и свёрточные слои. [Слайды] [Запись лекции]

Лекция 3 (24.09.2020). Поле восприятия. Преобразования в свёрточных сетях. Типичная архитектура свёрточной нейронной сети. Выходы последних слоёв свёрточных сетей как дескрипторы изображений. [Слайды] [Запись лекции]

Лекция 4 (01.10.2020). Стохастический градиентный спуск. Mini-batch. Momentum, AdaGrad, RMSProp, Adam. Регуляризация нейронных сетей и Dropout. Batch normalization. [Слайды] [Запись лекции]

Лекция 5 (08.10.2020). Инициализация весов и аугментация. Архитектуры свёрточных сетей: LeNet, AlexNet, VGG, Inception, ResNet. Tranfer learning. [Слайды] [Запись лекции]

Лекция 6 (15.10.2020). Интерпретация нейронных сетей. Задача семантической сегментации. Метрики качества сегментации, categorical cross-entropy. Fully Convolutional Networks. U-Net. Dilated convolutions. [Слайды] [Запись лекции]

Семинары

Семинар 1 (17.09.2020). Знакомство с pytorch. Тензоры, градиенты, датасеты, даталоадеры. Моя первая нейросеть. [Запись (Руслан Хайдуров)]

Практические задания

Домашние задания выкладываются в репозиторий курса. За каждый день просрочки мягкого дедлайна снимается два балла. После жёсткого дедлайна задания не принимаются.

Контрольная работа

Экзамен