Машинное обучение 1/2023 2024 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (Ekononova переименовал страницу Машинное обучение 1 в Машинное обучение 1/2023 2024: Прошлогодний курс)
 
(не показаны 174 промежуточные версии 27 участников)
Строка 8: Строка 8:
  
 
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
 
'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]
−
 
−
Лекции проходят по пятницам, 11:10 - 12:30, в zoom (https://zoom.us/j/98499384799?pwd=OC9GcFd5QlJkZlA5Uk85SHNVTGxSdz09).
 
  
  
Строка 18: Строка 16:
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
−
[https://www.hse.ru/ba/ami/courses/450802413.html Карточка курса и программа]
+
[https://www.hse.ru/edu/courses/646510131 Карточка курса и программа]
  
 
[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]
 
[https://github.com/esokolov/ml-course-hse Репозиторий с материалами на GitHub]
Строка 26: Строка 24:
 
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)
 
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)
  
−
Канал в telegram для объявлений: https://t.me/joinchat/G2T6pB1CgF82NTMy
+
Канал в telegram для объявлений: https://t.me/+8Q3FOPazf-kwOWM6
  
−
Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/NRpKJ09prtRlMTli
+
Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+068EETxxsvYxM2Qy
  
−
Ссылка на курс в Anytask: https://anytask.org/course/??
+
Ссылка на курс в Anytask: [https://anytask.org/course/1062 Ссылка]
  
−
[https://docs.google.com/spreadsheets/d/1_qMPqgcJZEJaiXZpMbjKM0trw_aGkkulrZG7Lq7kjU8/edit?usp=sharing Таблица с оценками]
+
[https://docs.google.com/spreadsheets/d/1SXEMnqS2aKEeZsAEKPk6Lxxmxm1DHONWmofufe0jvmg/edit?usp=sharing Таблица с оценками]
  
 
Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]
 
Оставить отзыв на курс: [https://goo.gl/forms/5CddG0gc75VZvqi52 форма]
Строка 43: Строка 41:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Группа !! Преподаватель !! Учебный ассистент
+
! Группа !! Преподаватель !! Ссылка на чат в телеграме !! Код инвайта на энитаск
 
|-
 
|-
−
| 191 (МОП) || [https://www.hse.ru/org/persons/? Хрушков Павел Вадимович] ||  
+
| 211 (МОП) || [https://www.hse.ru/org/persons/225560347 Морозов Никита Витальевич] || || 9SD8UZw
 
|-
 
|-
−
| 192 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] ||  
+
| 212 (МОП) || [https://www.hse.ru/staff/esokolov Соколов Евгений Андреевич] || || p7xUNm6
 
|-
 
|-
−
| 193 (МОП) || [https://www.hse.ru/org/persons/208522505 Садртдинов Ильдус Рустемович] ||  
+
| 213 (МОП) || [Еленик Константин] || || BQJIqvE
 
|-
 
|-
−
| 194 (АДИС)|| [https://www.hse.ru/staff/atsvigun Цвигун Аким Олегович]|| [https://t.me/khaykingleb Хайкин Глеб]
+
| 214 (ТИ) + 217 (АПР) || [Сендерович Александра] || https://t.me/+KZTbPhO6JR9hZjRi || 5QBsIpt
 
|-
 
|-
−
| 195 (РС) || ||  
+
| 215 (РС) || [Орлов Александр] || https://t.me/+Nwx3IQMQiE82NzQy || H4L7odY
 
|-
 
|-
−
| 196 (РС) || ||  
+
| 216 (РС) || [https://www.hse.ru/org/persons/225544191 Коган Александра] || https://t.me/+d0dSIctKNRg1MzUy || dgZTdtM
 
|-
 
|-
−
| 197 (АПР) || ||  
+
| 218 (АДИС) || [Ульянкин Филипп] || || DMyEAZA
 
|-
 
|-
−
| 198 (ТИ) || [https://www.hse.ru/org/persons/218009880 Ульянкин Филипп], [https://t.me/ppilif @ppilif]  || [https://t.me/daviddramb Драмбян Давид] 
+
| 2110 (ПР) || [Иванов Семен] || || NkV8Do3
 
|-
 
|-
−
| 199 (МИ) || ||  
+
| ФЭН1 || [Багиров Гейдар] || || ZdRjV35
 
|-
 
|-
−
| 1910 (ПР) || [https://www.hse.ru/org/persons/208488544 Биршерт Алексей Дмитриевич] || [https://t.me/naumovanast Наумова Настя], [https://t.me/horror_in_black Коган Саша]
+
| ФЭН2 || [Баранов Михаил] || || ev5RYXy
 
|-
 
|-
−
| ФЭН || ||  
+
| КНАД || [Косакин Даниил] || https://t.me/+Z4WfCB778mI0ZjI6 || AxaC2TP
 +
|}
 +
 
 +
=== Ассистенты ===
 +
 
 +
{| class="wikitable"
 
|-
 
|-
−
| Пермь (БИ) ||  ||
+
! Группа !! Ассистент
 
|-
 
|-
−
| Пермь (ПИ) || ||  
+
| 211 (МОП) || [https://t.me/TheDullestPageOnTelegram Петренко Максим], [https://t.me/tutugarin Ершов Иван]
 +
|-
 +
| 212 (МОП) || [https://t.me/mishlen25 Исаков Михаил], [https://t.me/kemmeritocracy Кеммер Анастасия]
 +
|-
 +
| 213 (МОП) || [https://t.me/kvdmitrieva Дмитриева Екатерина], [https://t.me/@mdeil007 Данил Иванов]
 +
|-
 +
| 214 (ТИ) + 217 (АПР) || [https://t.me/rey_arzhan Аржанцев Андрей], [https://t.me/artem_babak Бабак Артем Юрьевич]
 +
|-
 +
| 215 (РС) || [https://t.me/aiziks Максутова Айза]
 +
|-
 +
| 216 (РС) || [https://t.me/afnastya Афанасьева Анастасия]
 +
|-
 +
| 218 (АДИС) || [https://t.me/elineii Костромина Алина], [https://t.me/dogfew Перепелкин Владимир]
 +
|-
 +
| 2110 (ПР) || [https://t.me/cocosinca Неудачина Ева]
 +
|-
 +
| ФЭН1 || [https://t.me/jeembogod Березовский Валерий], [https://t.me/amsilevich Силевич Артем]
 +
|-
 +
| ФЭН2 || [https://t.me/manukyan077 Манукян Айк]
 +
|-
 +
| КНАД || [https://t.me/pauchara0 Петров Олег]
 
|}
 
|}
−
 
−
=== Консультации ===
 
  
 
=== Правила выставления оценок ===
 
=== Правила выставления оценок ===
Строка 98: Строка 119:
 
=== Правила сдачи заданий ===
 
=== Правила сдачи заданий ===
  
−
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).
+
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
 +
 
 +
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
  
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
 
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
 +
 +
Использовать генеративные модели (ChatGPT, GitHub Copilot и прочие) можно. Но если вы их применяете, то обязательно нужно сделать следующее:
 +
 +
1. Указывать, какие части ДЗ выполнены с использованием генеративных моделей.
 +
 +
2. Добавить в конец вашего решения небольшой раздел с рефлексией, где вы описываете, как подбирали промпты, какие заметили преимущества и недостатки генеративных моделей при выполнении данного ДЗ.
 +
 +
Также мы в любом случае оставляем за собой право пригласить студента для защиты своего ДЗ, если заподозрим плагиат.
  
 
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
 
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Строка 107: Строка 138:
  
 
Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!
 
Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!
 +
 +
'''Лекция 1''' (8 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture01-intro.pdf Конспект]] [[https://youtu.be/n_2_eq6Y-c8 Запись лекции]]
 +
 +
'''Лекция 2''' (15 сентября). Линейная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture02-linregr.pdf Конспект]] [[https://youtu.be/n69ER7RJLys Запись лекции]]
 +
 +
'''Лекция 3''' (22 сентября). Обобщающая способность, градиентные методы. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture03-linregr.pdf Конспект]] [[https://youtu.be/43sSNZPHBxI Запись лекции]]
 +
 +
'''Лекция 4''' (29 сентября). Модификации градиентного спуска, регуляризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture04-linregr.pdf Конспект]] [[https://youtu.be/AJYcKzlFg1A Запись лекции]]
 +
 +
'''Лекция 5''' (6 октября). Регуляризация, разреженные модели, линейная классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture05-linclass.pdf Конспект]] [[https://youtu.be/TXZsyWq_WKo Запись лекции]]
 +
 +
'''Лекция 6''' (13 октября). Метрики качества классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://youtu.be/jNebp1-XxMw Запись лекции]]
 +
 +
'''Лекция 7''' (20 октября). Логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture06-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=6FAXXihxbRQ Запись лекции]]
 +
 +
'''Лекция 8''' (27 октября). SVM, многоклассовая классификация. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture07-linclass.pdf Конспект]] [[https://www.youtube.com/watch?v=lTmBBppJGmM Запись лекции]]
 +
 +
'''Лекция 9''' (3 ноября). Решающие деревья. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture08-trees.pdf Конспект]] [[https://youtu.be/5wvbnQbRS-E Запись лекции]]
 +
 +
'''Лекция 10''' (10 ноября). Решающие деревья, разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture09-ensembles.pdf Конспект]] [[https://youtu.be/MUSQhD9TLUw Запись лекции]]
 +
 +
'''Лекция 11''' (17 ноября). Бэггинг, градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture10-ensembles.pdf Конспект]] [[https://youtu.be/UxWTb1XDh4c Запись лекции]]
 +
 +
'''Лекция 12''' (24 ноября). Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture11-ensembles.pdf Конспект]] [[https://www.youtube.com/watch?v=pDxkheswP0w Запись лекции]]
 +
 +
'''Лекция 13''' (15 декабря). Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/lecture-notes/lecture11-ensembles.pdf Конспект]] [[https://youtu.be/zfJ_GFeLGJc Запись лекции]]
  
 
== Семинары ==
 
== Семинары ==
 +
 +
'''Семинар 1'''. pandas. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem01-pandas.ipynb Ноутбук]]
 +
 +
'''Семинар 2'''. sklearn и линейная регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem02-sklearn-linregr.ipynb Ноутбук]]
 +
 +
'''Семинар 3'''. Матрично-векторное диффернцирование. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem03-vector-diff.pdf Конспект]]
 +
 +
'''Семинар 4'''. Работа с данными и признаками. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem04-features.ipynb Ноутбук]]
 +
 +
'''Семинар 5'''. Метрики классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem05-linclass-metrics.pdf Конспект]]
 +
 +
'''Семинар 6'''. Калибровка вероятностей. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem06-calibration.ipynb Ноутбук]][[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem06-probs-quantile.pdf Конспект]]
 +
 +
'''Семинар 7'''. Решающие деревья. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem07-trees.ipynb Ноутбук]][[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem07-trees.pdf Конспект]]
 +
 +
'''Семинар 8'''. Разложение ошибки на смещение и разброс. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem08-bvd.pdf Конспект]]
 +
 +
'''Семинар 9'''. Градиентный бустинг. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem09-gbm-part1.pdf Конспект]]
 +
 +
'''Семинар 10'''. Виды градиентного бустинга: XGB, LightGBM, CatBoost. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem10-gbm.pdf Конспект]]
 +
 +
'''Семинар 11'''. Кластеризация. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem11_clustering.ipynb Ноутбук]]
 +
 +
'''Семинар 12'''. Методы понижения размерности: PCE, tSNE. [[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem12-pca.pdf Конспект]][[https://github.com/esokolov/ml-course-hse/blob/master/2022-fall/seminars/sem12_pca_tsne.ipynb Ноутбук]]
  
 
== Практические задания ==
 
== Практические задания ==
  
−
==Теоретические домашние задания==
+
'''Задание 1.''' Pandas и распределение студентов ПМИ по элективам.
 +
 +
Мягкий дедлайн: 23:59 02.10.2023
  
−
Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.
+
Жесткий дедлайн: 23:59 06.10.2023
  
−
== Соревнования ==
+
[[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-practice/homework-practice-01-pandas.ipynb Ноутбук с заданием]]
  
−
===Правила участия и оценивания===
 
−
В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.
 
  
−
В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на '''приватном''' лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:
+
'''Задание 2.''' Exploratory Data Analysis и линейная регрессия.
  
−
N_2 - (N_2 - N_1) * i  / M,
+
Мягкий дедлайн: 23:59 18.10.2023
  
−
где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;
+
Жесткий дедлайн: 23:59 22.10.2023
  
−
i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.  
+
[[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-practice/homework-practice-02-linregr.ipynb Ноутбук с заданием]]
  
−
Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.
 
  
−
Чтобы вас не пропустили при проверке решений соревнования, '''необходимо''' использовать следующий формат для имени команды (вкладка Team):
+
'''Задание 3.''' Градиентный спуск и линейная регрессия.
  
−
«[ПМИ] Имя Фамилия номер_группы»
+
Мягкий дедлайн: 23:59 08.11.2023
  
−
В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:
+
Жесткий дедлайн: 23:59 12.11.2023
  
−
1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.
+
[[https://github.com/esokolov/ml-course-hse/tree/master/2023-fall/homeworks-practice/homework-practice-03-gd Файлы]]
  
−
2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.
 
  
−
3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.  
+
'''Задание 4.''' Классификация и калибровка вероятностей.
  
−
В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-3 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования сдадут в anytask отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях '''запрещено'''. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.
+
Мягкий дедлайн: 23:59 22.11.2023
  
−
В некоторых соревнованиях данные взяты из завершившегося соревнования на Kaggle.
+
Жесткий дедлайн: 23:59 26.11.2023
−
Категорически запрещено использовать данные из оригинального соревнования для восстановления целевой переменной на тестовой выборке.
+
  
−
=== Соревнование 1 ===
+
[[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-practice/homework-practice-04-linclass.ipynb Ноутбук с заданием]]
 +
 
 +
 
 +
'''Задание 5.''' Решающие деревья.
 +
 
 +
Мягкий дедлайн: 23:59 12.12.2023
 +
 
 +
Жесткий дедлайн: 23:59 14.12.2023
 +
 
 +
[[https://github.com/esokolov/ml-course-hse/tree/master/2023-fall/homeworks-practice/homework-practice-05-trees Файлы]]
 +
 
 +
== Теоретические домашние задания ==
 +
 
 +
'''Теоретическое ДЗ 1.''' Линейные модели. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-01-linear-models.pdf Задания]]
 +
 
 +
'''Теоретическое ДЗ 2.''' Матрично-векторное дифференцирование и градиентный спуск. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-02-derivatives.pdf Задания]]
 +
 
 +
'''Теоретическое ДЗ 3.1.''' SVM и логистическая регрессия. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-03_part1-logreg-svm.pdf Задания]]
 +
 
 +
'''Теоретическое ДЗ 3.2.''' Метрики классификации. [[https://github.com/esokolov/ml-course-hse/blob/master/2023-fall/homeworks-theory/homework-theory-03_part2-clf-metrics.pdf Задания]]
  
 
== Бонусы за соревнования ==
 
== Бонусы за соревнования ==
Строка 155: Строка 252:
  
 
== Контрольная работа ==
 
== Контрольная работа ==
 +
 +
Контрольная работа состоится 8 декабря на лекции (в 11:10). Продолжительность — 80 минут.
 +
 +
[https://docs.google.com/document/d/1tVLi0Dbkh-PHTvZR4Nn57oJi0Lt6tkkWCaRL32SoQls/edit?usp=sharing Вопросы для подготовки]
 +
 +
[https://github.com/esokolov/ml-course-hse/blob/master/2020-fall/midterm-fall-2020-example.pdf Нулевой вариант]
 +
 +
[https://github.com/hse-ds/iad-intro-ds/blob/master/2021/kr/kr2021-var0.pdf Нулевой вариант с майнора ИАД (попроще, но всё равно полезно прорешать)]
  
 
== Экзамен ==
 
== Экзамен ==
 +
  
 
== Полезные материалы ==
 
== Полезные материалы ==
 
===Книги===
 
===Книги===
 +
* [https://academy.yandex.ru/handbook/ml Учебник по машинному обучению от ШАД]
 
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
 
* Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
 
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
 
* Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
Строка 176: Строка 283:
  
 
== Страницы предыдущих лет ==
 
== Страницы предыдущих лет ==
 +
[[Машинное_обучение_1/2022_2023 | 2022/2023 учебный год]]
 +
 +
[[Машинное_обучение_1/2021_2022 | 2021/2022 учебный год]]
  
 
[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]
 
[[Машинное_обучение_1/2020_2021 | 2020/2021 учебный год]]

Текущая версия на 16:02, 11 сентября 2024

О курсе

borderless

Курс читается для студентов 3-го курса ПМИ ФКН ВШЭ в 1-2 модулях.

Проводится с 2016 года.

Лектор: Соколов Евгений Андреевич




Полезные ссылки

Карточка курса и программа

Репозиторий с материалами на GitHub

Видеозаписи лекций 18/19 года

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)

Канал в telegram для объявлений: https://t.me/+8Q3FOPazf-kwOWM6

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+068EETxxsvYxM2Qy

Ссылка на курс в Anytask: Ссылка

Таблица с оценками

Оставить отзыв на курс: форма

Вопросы по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу. Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на форуме.

Семинары

Группа Преподаватель Ссылка на чат в телеграме Код инвайта на энитаск
211 (МОП) Морозов Никита Витальевич 9SD8UZw
212 (МОП) Соколов Евгений Андреевич p7xUNm6
213 (МОП) [Еленик Константин] BQJIqvE
214 (ТИ) + 217 (АПР) [Сендерович Александра] https://t.me/+KZTbPhO6JR9hZjRi 5QBsIpt
215 (РС) [Орлов Александр] https://t.me/+Nwx3IQMQiE82NzQy H4L7odY
216 (РС) Коган Александра https://t.me/+d0dSIctKNRg1MzUy dgZTdtM
218 (АДИС) [Ульянкин Филипп] DMyEAZA
2110 (ПР) [Иванов Семен] NkV8Do3
ФЭН1 [Багиров Гейдар] ZdRjV35
ФЭН2 [Баранов Михаил] ev5RYXy
КНАД [Косакин Даниил] https://t.me/+Z4WfCB778mI0ZjI6 AxaC2TP

Ассистенты

Группа Ассистент
211 (МОП) Петренко Максим, Ершов Иван
212 (МОП) Исаков Михаил, Кеммер Анастасия
213 (МОП) Дмитриева Екатерина, Данил Иванов
214 (ТИ) + 217 (АПР) Аржанцев Андрей, Бабак Артем Юрьевич
215 (РС) Максутова Айза
216 (РС) Афанасьева Анастасия
218 (АДИС) Костромина Алина, Перепелкин Владимир
2110 (ПР) Неудачина Ева
ФЭН1 Березовский Валерий, Силевич Артем
ФЭН2 Манукян Айк
КНАД Петров Олег

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
  • Практические домашние работы на Python
  • Письменная контрольная работа
  • Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

Использовать генеративные модели (ChatGPT, GitHub Copilot и прочие) можно. Но если вы их применяете, то обязательно нужно сделать следующее:

1. Указывать, какие части ДЗ выполнены с использованием генеративных моделей.

2. Добавить в конец вашего решения небольшой раздел с рефлексией, где вы описываете, как подбирали промпты, какие заметили преимущества и недостатки генеративных моделей при выполнении данного ДЗ.

Также мы в любом случае оставляем за собой право пригласить студента для защиты своего ДЗ, если заподозрим плагиат.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

Лекция 1 (8 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [Конспект] [Запись лекции]

Лекция 2 (15 сентября). Линейная регрессия. [Конспект] [Запись лекции]

Лекция 3 (22 сентября). Обобщающая способность, градиентные методы. [Конспект] [Запись лекции]

Лекция 4 (29 сентября). Модификации градиентного спуска, регуляризация. [Конспект] [Запись лекции]

Лекция 5 (6 октября). Регуляризация, разреженные модели, линейная классификация. [Конспект] [Запись лекции]

Лекция 6 (13 октября). Метрики качества классификации. [Конспект] [Запись лекции]

Лекция 7 (20 октября). Логистическая регрессия. [Конспект] [Запись лекции]

Лекция 8 (27 октября). SVM, многоклассовая классификация. [Конспект] [Запись лекции]

Лекция 9 (3 ноября). Решающие деревья. [Конспект] [Запись лекции]

Лекция 10 (10 ноября). Решающие деревья, разложение ошибки на смещение и разброс. [Конспект] [Запись лекции]

Лекция 11 (17 ноября). Бэггинг, градиентный бустинг. [Конспект] [Запись лекции]

Лекция 12 (24 ноября). Градиентный бустинг. [Конспект] [Запись лекции]

Лекция 13 (15 декабря). Градиентный бустинг. [Конспект] [Запись лекции]

Семинары

Семинар 1. pandas. [Ноутбук]

Семинар 2. sklearn и линейная регрессия. [Ноутбук]

Семинар 3. Матрично-векторное диффернцирование. [Конспект]

Семинар 4. Работа с данными и признаками. [Ноутбук]

Семинар 5. Метрики классификации. [Конспект]

Семинар 6. Калибровка вероятностей. [Ноутбук][Конспект]

Семинар 7. Решающие деревья. [Ноутбук][Конспект]

Семинар 8. Разложение ошибки на смещение и разброс. [Конспект]

Семинар 9. Градиентный бустинг. [Конспект]

Семинар 10. Виды градиентного бустинга: XGB, LightGBM, CatBoost. [Конспект]

Семинар 11. Кластеризация. [Ноутбук]

Семинар 12. Методы понижения размерности: PCE, tSNE. [Конспект][Ноутбук]

Практические задания

Задание 1. Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 23:59 02.10.2023

Жесткий дедлайн: 23:59 06.10.2023

[Ноутбук с заданием]


Задание 2. Exploratory Data Analysis и линейная регрессия.

Мягкий дедлайн: 23:59 18.10.2023

Жесткий дедлайн: 23:59 22.10.2023

[Ноутбук с заданием]


Задание 3. Градиентный спуск и линейная регрессия.

Мягкий дедлайн: 23:59 08.11.2023

Жесткий дедлайн: 23:59 12.11.2023

[Файлы]


Задание 4. Классификация и калибровка вероятностей.

Мягкий дедлайн: 23:59 22.11.2023

Жесткий дедлайн: 23:59 26.11.2023

[Ноутбук с заданием]


Задание 5. Решающие деревья.

Мягкий дедлайн: 23:59 12.12.2023

Жесткий дедлайн: 23:59 14.12.2023

[Файлы]

Теоретические домашние задания

Теоретическое ДЗ 1. Линейные модели. [Задания]

Теоретическое ДЗ 2. Матрично-векторное дифференцирование и градиентный спуск. [Задания]

Теоретическое ДЗ 3.1. SVM и логистическая регрессия. [Задания]

Теоретическое ДЗ 3.2. Метрики классификации. [Задания]

Бонусы за соревнования

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

Контрольная работа

Контрольная работа состоится 8 декабря на лекции (в 11:10). Продолжительность — 80 минут.

Вопросы для подготовки

Нулевой вариант

Нулевой вариант с майнора ИАД (попроще, но всё равно полезно прорешать)

Экзамен

Полезные материалы

Книги

  • Учебник по машинному обучению от ШАД
  • Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
  • Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
  • Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
  • Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
  • Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
  • Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

Курсы по машинному обучению и анализу данных

Страницы предыдущих лет

2022/2023 учебный год

2021/2022 учебный год

2020/2021 учебный год

2019/2020 учебный год

2018/2019 учебный год

2017/2018 учебный год

2016/2017 учебный год

Источник — «http://wiki.cs.hse.ru/index.php?title=Машинное_обучение_1/2023_2024&oldid=86218»