Машинное обучение 2 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(не показано 185 промежуточных версии 16 участников)
Строка 9: Строка 9:
 
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
 
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
  
Лекции проходят по пятницам, 10:30 - 11:50, ауд. 317.
+
Лекции проходят по пятницам, 11:10 - 12:30, в [https://us06web.zoom.us/j/87309155639?pwd=SUlEQWNaRE1VdVBaeW5Zd0RVekxDdz09 zoom].
  
  
Строка 18: Строка 18:
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
[https://www.hse.ru/edu/courses/205514318 Карточка курса и программа]
+
[https://www.hse.ru/edu/courses/646485502 Карточка курса и программа]
  
 
[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]
 
[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]
  
Почта для сдачи домашних заданий: hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+151@gmail.com)
+
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)
  
Канал в telegram для объявлений: https://telegram.me/hse_cs_ml_2_course_2017
+
Канал в telegram для объявлений: https://t.me/+nw_2X9UCUGNhMWVi
  
Чат в telegram для обсуждений: https://t.me/joinchat/A5rlQEQ7r16nvyHbyXtjNA
+
Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+3BLmxzv63VM0OGMy
  
[https://docs.google.com/spreadsheets/d/16wj3eH2crdGY-MFqiMMUoy1E7uo80nYT2MYfz3Y7gx4/edit?usp=sharing Таблица с оценками]
+
Ссылка на курс в Anytask: https://anytask.org/course/1018
 +
 
 +
[https://docs.google.com/spreadsheets/d/1Z-9POgE6dTwtw5lLWf4PmHLux116zh4LCnpk-o0MKhE/edit?usp=sharing Таблица с оценками]
 +
 
 +
Плейлист с записями занятий: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rbvMi2j_WhZiJX2xyXMIu7
  
 
Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]
 
Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]
Строка 39: Строка 43:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
! Группа !! Преподаватель !! Расписание
+
! Группа                                   !! Преподаватель                                                                                                                             !! Учебный ассистент
 
|-
 
|-
| 151 (МОП) || [https://www.hse.ru/org/persons/165212870 Зиннурова Эльвира Альбертовна] || пятница, 12:10 - 13:30, ауд. ??
+
| 201 (МОП)                               || [https://www.hse.ru/org/persons/208533329 Шабалин Александр Михайлович]                 ||  
 
|-
 
|-
| 152 (МОП) || [https://www.hse.ru/org/persons/191263008 Неклюдов Кирилл Олегович] || пятница, 12:10 - 13:30, ауд. ??
+
| 202 (МОП)                               || [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]                                              ||
 +
|-
 +
| 203 (МОП)                              || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич]                     ||
 +
|-
 +
| Курс по выбору для ПМИ || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич]              ||
 +
|-
 +
| Межампус                              ||  [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп] [https://t.me/ppilif @ppilif]  ||
 
|-
 
|-
 
|}
 
|}
 
=== Консультации ===
 
 
Консультации с преподавателями и учебными ассистентами по курсу проводятся по предварительной договорённости.
 
  
 
=== Правила выставления оценок ===
 
=== Правила выставления оценок ===
  
 
В курсе предусмотрено несколько форм контроля знания:
 
В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и выполнение теоретических домашних заданий
+
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
* Теоретические домашние задания
+
 
* Практические домашние работы на Python
 
* Практические домашние работы на Python
* Соревнования по анализу данных
+
* Устный коллоквиум
* Письменный коллоквиум в конце 3-го модуля
+
 
* Письменный экзамен
 
* Письменный экзамен
  
 
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:
 
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:
  
O<sub>итоговая</sub> = 0.7 * O<sub>накопленная</sub> + 0.3 * О<sub>экз</sub>
+
Итог = Округление(0.4 * ДЗ + 0.2 * К + 0.1 * ПР + 0.3 * Э)
  
Оценка за работу в семестре вычисляется по формуле
+
ПР — средняя оценка за самостоятельные работы на семинарах
  
O<sub>накопленная</sub> = 0.2 * O<sub>самостоятельные</sub> + 0.2 * O<sub>теоретические дз</sub> + 0.4 * О<sub>практические дз</sub> + 0.2 * О<sub>контрольная</sub>
+
ДЗ — средняя оценка за практические домашние работы на Python
  
Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу как среднее по всем практическим заданиям и соревнованиям.
+
К — оценка за коллоквиум
 +
 
 +
Э оценка за экзамен
 +
 
 +
Округление арифметическое.
  
 
=== Правила сдачи заданий ===
 
=== Правила сдачи заданий ===
  
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.
+
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
 +
 
 +
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
  
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
  
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
+
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
  
 
== Лекции ==
 
== Лекции ==
  
'''Лекция 14''' (12 января). Двойственные представления для линейной регрессии и SVM. Ядра. Теорема Мерсера. Способы построения ядер. Полиномиальные и гауссовы ядра.  [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture14-kernels.pdf Конспект]]
+
Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!
  
'''Лекция 15''' (19 января). Условная оптимизация, двойственные задачи, теорема Куна-Таккера. Двойственная задача SVM. Типы объектов в SVM. Kernel trick. Связь SVM с RBF-ядром и kNN.  [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture15-kernels.pdf Конспект]]
+
== Семинары ==
  
'''Лекция 16''' (26 января). RKHS и теорема о представлении. Аппроксимация ядер, метод случайных признаков Фурье. Ядровой метод главных компонент. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture16-kernels.pdf Конспект]]
+
== Теоретические задания ==
  
'''Лекция 17''' (2 февраля). Смеси распределений. Модели со скрытыми переменными. KL-дивергения. EM-алгоритм в общем виде, его сходимость. [[https://github.com/esokolov/ml-course-hse/blob/master/2016-spring/lecture-notes/lecture17-em.pdf Конспект]]
+
[https://github.com/esokolov/ml-course-hse/tree/master/2022-spring/homeworks-theory Теоретические ДЗ] не проверяются, но задачи из них могут войти в проверочные работы на семинарах.
  
'''Лекция 18''' (9 февраля). Работа с несбалансированными выборками. Одноклассовые методы и обнаружение аномалий: статистический и метрический подходы. Одноклассовый SVM. Isolation forest. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/lecture-notes/lecture18-anomaly.pdf Конспект]]
+
== Практические задания ==
  
== Семинары ==
+
'''Задание 8.''' Метод опорных векторов и аппроксимация ядер
'''Семинар 12''' (12 января). Ядра, спрямляющие пространства. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/seminars/sem12-kernels.pdf Конспект]]
+
 +
Мягкий дедлайн: 20.02.2023 23:59.  
  
'''Семинар 13''' (19 января). Решение задач условной оптимизации. Условия Куна-Таккера. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/seminars/sem13-kernels.pdf Конспект]]
+
Жесткий дедлайн: 26.02.2023 23:59.
  
'''Семинар 14''' (26 января). Двойственная задача метода опорных векторов. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/seminars/sem14-kernels.pdf Конспект]]
+
[[https://github.com/esokolov/ml-course-hse/blob/master/2022-spring/homeworks-practice/homework-practice-08-random-features.ipynb Ноутбук с заданием]]
  
'''Семинар 15''' (2 февраля). Линейный дискриминант Фишера. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/seminars/sem15-kernels.pdf Конспект]]
+
== Проект ==
  
'''Семинар 16''' (9 февраля). EM-алгоритм. [[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/seminars/sem16-em.pdf Конспект]]
+
Одной из форм контроля является проект. Результатом выполнения проекта должен быть отчёт, содержащий в себе:
 +
* Описание задачи
 +
* Описание методов
 +
* Описание данных, на которых проводились эксперименты
 +
* Подробное описание экспериментов и результатов
 +
* Анализ результатов и выводы
  
== Теоретические задания ==
+
Не нужно писать формальный текст — будет здорово, если у вас получится интересная и доступная обзорная статья.
'''ДЗ №9'''
+
[[https://github.com/esokolov/ml-course-hse/blob/master/2017-spring/homeworks-theory/homework-theory-09-kernels.pdf Условие]]
+
Дата выдачи: 14.02.2018
+
Срок отправки решений: 01.03.2018 23:59MSK
+
  
== Практические задания ==
+
За проект можно получить до 5 бонусных баллов. Если получится совсем потрясающе — то и до 10 баллов.
  
 +
Темы проектов: '''будут объявлены позже'''
  
== Соревнования ==
+
Можно предлагать свои темы — их нужно вписать в ту же табличку. Такие темы нужно согласовать с лектором.
  
 +
По умолчанию каждую тему может взять одна команда из 2-3 студентов. По согласованию с лектором одну тему может взять несколько команд.
  
== Контрольная работа ==
+
Дедлайн сдачи отчёта и кода: 13 июня 23:59.
  
 +
== Коллоквиум ==
  
== Экзамен ==
+
На каждого студента отводится 20 минут. За это время он должен ответить на 3 вопроса из теоретического минимума и решить задачу. Каждый вопрос из теоретического минимума "стоит" 7/3 балла, задача — 3 балла. Время на подготовку не предусмотрено.
  
 +
[https://docs.google.com/document/d/1hk6iCRf-FXzUHV7J2xBTDMLpB50p2QovG796NK_6p2Y/edit?usp=sharing Вопросы с прошлого года]
  
 +
== Экзамен ==
  
 
== Полезные материалы ==
 
== Полезные материалы ==
Строка 133: Строка 150:
 
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
 
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
 
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
 
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
 +
* [https://www.coursera.org/specializations/machine-learning-from-statistics-to-neural-networks Coursera: Машинное обучение от статистики до нейросетей (специализация)]
 
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
 
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
 
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
 
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
  
 
== Страницы предыдущих лет ==
 
== Страницы предыдущих лет ==
 +
 +
[[Машинное_обучение_2/2020_2021 | 2020/2021 учебный год]]
 +
 +
[[Машинное_обучение_2/2019_2020 | 2019/2020 учебный год]]
 +
 +
[[Машинное_обучение_2/2018_2019 | 2018/2019 учебный год]]
 +
 +
[[Машинное_обучение_2/2017_2018 | 2017/2018 учебный год]]
  
 
[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]
 
[[Машинное_обучение_2/2016_2017 | 2016/2017 учебный год]]

Версия 10:58, 17 февраля 2023

О курсе

borderless

Курс читается для студентов 3-го курса ПМИ ФКН ВШЭ в 3-4 модулях.

Проводится с 2016 года.

Лектор: Соколов Евгений Андреевич

Лекции проходят по пятницам, 11:10 - 12:30, в zoom.




Полезные ссылки

Карточка курса и программа

Репозиторий с материалами на GitHub

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)

Канал в telegram для объявлений: https://t.me/+nw_2X9UCUGNhMWVi

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+3BLmxzv63VM0OGMy

Ссылка на курс в Anytask: https://anytask.org/course/1018

Таблица с оценками

Плейлист с записями занятий: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rbvMi2j_WhZiJX2xyXMIu7

Оставить отзыв на курс: форма

Вопросы по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу. Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде Issue в github-репозитории курса.

Семинары

Группа Преподаватель Учебный ассистент
201 (МОП) Шабалин Александр Михайлович
202 (МОП) Соколов Евгений Андреевич
203 (МОП) Биршерт Алексей Дмитриевич
Курс по выбору для ПМИ Морозов Никита Витальевич
Межампус Ульянкин Филипп @ppilif

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
  • Практические домашние работы на Python
  • Устный коллоквиум
  • Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.4 * ДЗ + 0.2 * К + 0.1 * ПР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

К — оценка за коллоквиум

Э — оценка за экзамен

Округление арифметическое.

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

Семинары

Теоретические задания

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

Практические задания

Задание 8. Метод опорных векторов и аппроксимация ядер

Мягкий дедлайн: 20.02.2023 23:59.

Жесткий дедлайн: 26.02.2023 23:59.

[Ноутбук с заданием]

Проект

Одной из форм контроля является проект. Результатом выполнения проекта должен быть отчёт, содержащий в себе:

  • Описание задачи
  • Описание методов
  • Описание данных, на которых проводились эксперименты
  • Подробное описание экспериментов и результатов
  • Анализ результатов и выводы

Не нужно писать формальный текст — будет здорово, если у вас получится интересная и доступная обзорная статья.

За проект можно получить до 5 бонусных баллов. Если получится совсем потрясающе — то и до 10 баллов.

Темы проектов: будут объявлены позже

Можно предлагать свои темы — их нужно вписать в ту же табличку. Такие темы нужно согласовать с лектором.

По умолчанию каждую тему может взять одна команда из 2-3 студентов. По согласованию с лектором одну тему может взять несколько команд.

Дедлайн сдачи отчёта и кода: 13 июня 23:59.

Коллоквиум

На каждого студента отводится 20 минут. За это время он должен ответить на 3 вопроса из теоретического минимума и решить задачу. Каждый вопрос из теоретического минимума "стоит" 7/3 балла, задача — 3 балла. Время на подготовку не предусмотрено.

Вопросы с прошлого года

Экзамен

Полезные материалы

Книги

  • Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
  • Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
  • Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
  • Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
  • Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
  • Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

Курсы по машинному обучению и анализу данных

Страницы предыдущих лет

2020/2021 учебный год

2019/2020 учебный год

2018/2019 учебный год

2017/2018 учебный год

2016/2017 учебный год