Машинное обучение 1/2023 2024
Содержание
О курсе
Курс читается для студентов 3-го курса ПМИ ФКН ВШЭ в 1-2 модулях.
Проводится с 2016 года.
Лектор: Соколов Евгений Андреевич
Полезные ссылки
Репозиторий с материалами на GitHub
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+171@gmail.com)
Канал в telegram для объявлений: https://t.me/+8Q3FOPazf-kwOWM6
Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+068EETxxsvYxM2Qy
Ссылка на курс в Anytask: Ссылка
Оставить отзыв на курс: форма
Вопросы по курсу можно задавать в телеграм лектору (esokolov@) или семинаристу. Вопросы по материалам лекций/семинаров и по заданиям лучше всего задавать на форуме.
Семинары
| Группа | Преподаватель | Ссылка на чат в телеграме | Код инвайта на энитаск |
|---|---|---|---|
| 211 (МОП) | Морозов Никита Витальевич | https://t.me/+9OnS8UETnPc1YzYy | 9SD8UZw |
| 212 (МОП) | Соколов Евгений Андреевич | p7xUNm6 | |
| 213 (МОП) | [Еленик Константин] | BQJIqvE | |
| 214 (ТИ) + 217 (АПР) | [Сендерович Александра] | https://t.me/+KZTbPhO6JR9hZjRi | 5QBsIpt |
| 215 (РС) | [Орлов Александр] | https://t.me/+Nwx3IQMQiE82NzQy | H4L7odY |
| 216 (РС) | Коган Александра | https://t.me/+d0dSIctKNRg1MzUy | dgZTdtM |
| 218 (АДИС) | [Ульянкин Филипп] | DMyEAZA | |
| 2110 (ПР) | [Иванов Семен] | NkV8Do3 | |
| ФЭН1 | [Багиров Гейдар] | ZdRjV35 | |
| ФЭН2 | [Баранов Михаил] | ev5RYXy | |
| КНАД | [Косакин Даниил] | https://t.me/+Z4WfCB778mI0ZjI6 | AxaC2TP |
Ассистенты
| Группа | Ассистент |
|---|---|
| 211 (МОП) | Петренко Максим, Ершов Иван |
| 212 (МОП) | Исаков Михаил, Кеммер Анастасия |
| 213 (МОП) | Дмитриева Екатерина, Данил Иванов |
| 214 (ТИ) + 217 (АПР) | Аржанцев Андрей, Бабак Артем Юрьевич |
| 215 (РС) | Максутова Айза |
| 216 (РС) | Афанасьева Анастасия |
| 218 (АДИС) | Костромина Алина, Перепелкин Владимир |
| 2110 (ПР) | Неудачина Ева |
| ФЭН1 | Березовский Валерий, Силевич Артем |
| ФЭН2 | Манукян Айк |
| КНАД | Петров Олег |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
- Практические домашние работы на Python
- Письменная контрольная работа
- Письменный экзамен
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:
Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)
ПР — средняя оценка за самостоятельные работы на семинарах
ДЗ — средняя оценка за практические домашние работы на Python
КР — оценка за контрольную работу
Э — оценка за экзамен
Округление арифметическое.
Правила сдачи заданий
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
Использовать генеративные модели (ChatGPT, GitHub Copilot и прочие) можно. Но если вы их применяете, то обязательно нужно сделать следующее:
1. Указывать, какие части ДЗ выполнены с использованием генеративных моделей.
2. Добавить в конец вашего решения небольшой раздел с рефлексией, где вы описываете, как подбирали промпты, какие заметили преимущества и недостатки генеративных моделей при выполнении данного ДЗ.
Также мы в любом случае оставляем за собой право пригласить студента для защиты своего ДЗ, если заподозрим плагиат.
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Лекции
Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!
Лекция 1 (8 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [Конспект] [Запись лекции]
Лекция 2 (15 сентября). Линейная регрессия. [Конспект] [Запись лекции]
Лекция 3 (22 сентября). Обобщающая способность, градиентные методы. [Конспект] [Запись лекции]
Лекция 4 (29 сентября). Модификации градиентного спуска, регуляризация. [Конспект] [Запись лекции]
Лекция 5 (6 октября). Регуляризация, разреженные модели, линейная классификация. [Конспект] [Запись лекции]
Лекция 6 (13 октября). Метрики качества классификации. [Конспект] [Запись лекции]
Лекция 7 (20 октября). Логистическая регрессия. [Конспект] [Запись лекции]
Лекция 8 (27 октября). SVM, многоклассовая классификация. [Конспект] [Запись лекции]
Лекция 9 (3 ноября). Решающие деревья. [Конспект] [Запись лекции]
Лекция 10 (10 ноября). Решающие деревья, разложение ошибки на смещение и разброс. [Конспект] [Запись лекции]
Лекция 11 (17 ноября). Бэггинг, градиентный бустинг. [Конспект] [Запись лекции]
Лекция 12 (24 ноября). Градиентный бустинг. [Конспект] [Запись лекции]
Лекция 13 (15 декабря). Градиентный бустинг. [Конспект] [Запись лекции]
Семинары
Практические задания
Задание 1. Pandas и распределение студентов ПМИ по элективам.
Мягкий дедлайн: 23:59 02.10.2023
Жесткий дедлайн: 23:59 06.10.2023
Задание 2. Exploratory Data Analysis и линейная регрессия.
Мягкий дедлайн: 23:59 18.10.2023
Жесткий дедлайн: 23:59 22.10.2023
Задание 3. Градиентный спуск и линейная регрессия.
Мягкий дедлайн: 23:59 08.11.2023
Жесткий дедлайн: 23:59 12.11.2023
[Файлы]
Задание 4. Классификация и калибровка вероятностей.
Мягкий дедлайн: 23:59 22.11.2023
Жесткий дедлайн: 23:59 26.11.2023
Задание 5. Решающие деревья.
Мягкий дедлайн: 23:59 12.12.2023
Жесткий дедлайн: 23:59 14.12.2023
[Файлы]
Теоретические домашние задания
Теоретическое ДЗ 1. Линейные модели. [Задания]
Теоретическое ДЗ 2. Матрично-векторное дифференцирование и градиентный спуск. [Задания]
Теоретическое ДЗ 3.1. SVM и логистическая регрессия. [Задания]
Теоретическое ДЗ 3.2. Метрики классификации. [Задания]
Бонусы за соревнования
За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.
Контрольная работа
Контрольная работа состоится 8 декабря на лекции (в 11:10). Продолжительность — 80 минут.
Нулевой вариант с майнора ИАД (попроще, но всё равно полезно прорешать)
Экзамен
Полезные материалы
Книги
- Учебник по машинному обучению от ШАД
- Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
- Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
- Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
- Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
- Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.
Курсы по машинному обучению и анализу данных
- Курс по машинному обучению К.В. Воронцова
- Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов
- Coursera: Машинное обучение от статистики до нейросетей (специализация)
- Coursera: Машинное обучение и анализ данных (специализация)
- Coursera: Введение в машинное обучение, К.В. Воронцов
- Введение в машинное обучение (онлайн-курс НИУ ВШЭ)
