Машинное обучение 2/2022 2023
Содержание
О курсе
Курс читается для студентов 3-го курса ПМИ ФКН ВШЭ в 3-4 модулях.
Проводится с 2016 года.
Лектор: Соколов Евгений Андреевич
Лекции проходят по пятницам, 11:10 - 12:30, в zoom.
Полезные ссылки
Репозиторий с материалами на GitHub
Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, hse.cs.ml+161@gmail.com)
Канал в telegram для объявлений: https://t.me/+nw_2X9UCUGNhMWVi
Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/+3BLmxzv63VM0OGMy
Ссылка на курс в Anytask: https://anytask.org/course/1018
Плейлист с записями занятий: https://www.youtube.com/playlist?list=PLEwK9wdS5g0rbvMi2j_WhZiJX2xyXMIu7
Оставить отзыв на курс: форма
Вопросы по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу. Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде Issue в github-репозитории курса.
Семинары
| Группа | Преподаватель | Учебный ассистент |
|---|---|---|
| 201 (МОП) | Шабалин Александр Михайлович | Артем Присяжнюк, Александр Плахин |
| 202 (МОП) | Соколов Евгений Андреевич | Максим Абрахам, Антон Макаров |
| 203 (МОП) | Биршерт Алексей Дмитриевич | Антон Барышников |
| Курс по выбору для ПМИ | Морозов Никита Витальевич | Алексей Панков |
| Межампус | Ульянкин Филипп @ppilif | Марк Столяров |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
- Практические домашние работы на Python
- Устный коллоквиум
- Письменный экзамен
Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:
Итог = Округление(0.4 * ДЗ + 0.2 * К + 0.1 * ПР + 0.3 * Э)
ПР — средняя оценка за самостоятельные работы на семинарах
ДЗ — средняя оценка за практические домашние работы на Python
К — оценка за коллоквиум
Э — оценка за экзамен
Округление арифметическое.
Правила сдачи заданий
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
Два раза студент может сдать домашнее задание после мягкого дедлайна (но до жёсткого) без штрафов.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
Лекции
Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!
Лекция 1 (21 января). Ядровые методы [Конспект] [Запись лекции]
Лекция 2 (28 января). Ядровой метод опорных векторов. Аппроксимация ядер. [Конспект] [Запись лекции]
Лекция 3 (3 февраля). ЕМ-алгоритм. [Конспект] [Запись лекции]
Лекция 4 (10 февраля). ЕМ-алгоритм. Одноклассовая классификация. [Конспект] [Запись лекции]
Лекция 5 (17 февраля). Одноклассовая классификация. [Конспект] [Запись лекции]
Лекция 6 (5 марта). Поиск аномалий. Спектральная кластеризация. [Конспект] [Запись лекции]
Лекция 7 (10 марта). Кластеризация. Тематическое моделирование. [Запись лекции] [Конспект]
Лекция 8 (17 марта). Метрические методы. [Запись лекции] [Конспект]
Лекция 9 (26 марта). Быстрый поиск ближайших соседей. [Конспект] [Запись лекции]
Лекция 10 (8 апреля). Быстрый поиск ближайших соседей. [Запись лекции]
Лекция 11 (14 апреля). Обучение ранжированию. [Конспект] [Запись лекции]
Лекция 12 (21 апреля). Обучение ранжированию. [Конспект] [Запись лекции]
Лекция 13 (28 апреля). Рекомендательные системы. [Конспект] [Запись лекции]
Лекция 14 (12 мая). Рекомендательные системы. [Конспект] [Запись лекции]
Семинары
Семинар 1. Задачи условной оптимизации и теорема Куна-Таккера. [Конспект] [Видео]
Семинар 2. Задачи на построение ядер. Задачи на прямую и двойственную формулировки метода опорных векторов. [Конспект] [Видео-1] [Видео-2]
Семинар 3. EM-алгоритм. [Конспект]. [Ноутбук с применением алгоритма] [Видео-1] [Видео-2]
Семинар 4. Байесовские методы машинного обучения. [Конспект][Видео]
Семинар 5. Машинное обучение на графах. [Конспект]. [Ноутбук с примерами методов] [Видео]
Семинар 6. Кластеризация на графах. [Конспект] [Видео]
Семинар 7. kNN. [Конспект]. [Ноутбук с примерами] [Видео]
Семинар 8. Обучение метрик. [Конспект] [Видео]
Семинар 9. Multi-label классификация. [Конспект] [Видео]
Теоретические задания
Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.
Практические задания
Задание 8. Метод опорных векторов и аппроксимация ядер
Мягкий дедлайн: 20.02.2023 23:59.
Жесткий дедлайн: 26.02.2023 23:59.
Задание 9. EM-алгоритм
Мягкий дедлайн: 18.03.2022 23:59.
Жесткий дедлайн: 25.03.2022 23:59.
Задание 10. Обучение без учителя
Мягкий дедлайн: 24.04.2022 23:59.
Жесткий дедлайн: 30.04.2022 23:59.
Задание 11. Метрик лернинг
Мягкий дедлайн: 12.05.2023 23:59.
Жёсткий дедлайн: 17.05.2023 23:59.
Задание 12. Рекомендательные системы
Мягкий дедлайн: 03.06.2023 23:59.
Жёсткий дедлайн: 08.06.2023 23:59.
Проект
Одной из форм контроля является проект. Результатом выполнения проекта должен быть отчёт, содержащий в себе:
- Описание задачи
- Описание методов
- Описание данных, на которых проводились эксперименты
- Подробное описание экспериментов и результатов
- Анализ результатов и выводы
Не нужно писать формальный текст — будет здорово, если у вас получится интересная и доступная обзорная статья.
За проект можно получить до 5 бонусных баллов. Если получится совсем потрясающе — то и до 10 баллов.
Темы проектов: будут объявлены позже
Можно предлагать свои темы — их нужно вписать в ту же табличку. Такие темы нужно согласовать с лектором.
По умолчанию каждую тему может взять одна команда из 2-3 студентов. По согласованию с лектором одну тему может взять несколько команд.
Дедлайн сдачи отчёта и кода: 13 июня 23:59.
Коллоквиум
На каждого студента отводится 20 минут. За это время он должен ответить на 3 вопроса из теоретического минимума и решить задачу. Каждый вопрос из теоретического минимума "стоит" 7/3 балла, задача — 3 балла. Время на подготовку не предусмотрено.
Экзамен
Полезные материалы
Книги
- Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
- Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
- Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
- Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
- Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.
Курсы по машинному обучению и анализу данных
- Курс по машинному обучению К.В. Воронцова
- Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов
- Coursera: Машинное обучение от статистики до нейросетей (специализация)
- Coursera: Машинное обучение и анализ данных (специализация)
- Coursera: Введение в машинное обучение, К.В. Воронцов
