МОВС Ключевой семинар Машинное обучение, ML (2023-24 уч. год, 2-3 модули) — различия между версиями
(не показано 68 промежуточных версии 3 участников) | |||
Строка 2: | Строка 2: | ||
''На курсе студенты узнают о классических и современных алгоритмах машинного обучения, научатся подходам для обработки и анализа данных. В курсе большое внимание уделяется линейным и нелинейным моделям регрессии и классификации. Часть курса посвящена обучению без учителя, в частности, методам снижения размерности и кластеризации. В курсе также изучаются такие популярные приложения методов машинного обучения как ранжирование, рекомендательные системы, поиск аномалий и временные ряды.'' | ''На курсе студенты узнают о классических и современных алгоритмах машинного обучения, научатся подходам для обработки и анализа данных. В курсе большое внимание уделяется линейным и нелинейным моделям регрессии и классификации. Часть курса посвящена обучению без учителя, в частности, методам снижения размерности и кластеризации. В курсе также изучаются такие популярные приложения методов машинного обучения как ранжирование, рекомендательные системы, поиск аномалий и временные ряды.'' | ||
− | Занятия проводятся в | + | Занятия проводятся в Zoom: |
+ | |||
+ | Базовая группа: Среда, 18.00, [https://us06web.zoom.us/j/83599644909?pwd=8ahUdgOb1UPlqwIXuAatwLEz0AMogY.1 Ссылка] | ||
+ | |||
+ | Продвинутая группа: Суббота, 13.40, [https://us06web.zoom.us/j/81057397040?pwd=XYV7wkm8lu3XzZxxwObaeZePyanQ19.1 Ссылка] | ||
==Контакты== | ==Контакты== | ||
Строка 34: | Строка 38: | ||
Плейлист курса на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC | Плейлист курса на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC | ||
− | GitHub с материалами курса: | + | GitHub с материалами курса: https://github.com/hse-mlds/ml |
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
− | ! Занятие | + | ! Занятие !! Тема !! Дата !! Ссылки |
|- | |- | ||
− | | style="background:#eaecf0;" | '''1''', [[ Запись]] | + | | style="background:#eaecf0;" | '''1''', [https://www.youtube.com/watch?v=o5o7zcJ2vAQ&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=1&t=3093s Запись (базовая)] <br/> [https://www.youtube.com/watch?v=W4xOcfgSb4k Запись (продвинутая)] |
− | | | + | || Базовая: Вводная лекция, линейная регрессия, основные понятия машинного обучения <br/> Продвинутая: Вводные понятия, матричное дифференцирование, явный вывод решения задачи линейной регрессиию |
− | + | || 03.11.23 // 11.11.23 || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_01/LinearRegression.pdf Презентация (базовая)]<br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_01/notes.pdf Конспект (продвинутая)] | |
− | || | + | |- |
+ | | style="background:#eaecf0;" | '''2''', [https://www.youtube.com/watch?v=apQZ9RAJ58I&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=2&t=495s Запись (базовая)]<br/> [https://www.youtube.com/watch?v=W4xOcfgSb4k&t=6695s Запись (продвинутая)] || | ||
+ | Базовая: L1/L2 регуляризация, кросс-валидация, метрики качества регрессии <br/> Продвинутая: Градиентный спуск, регуляризация, альтернативные лоссы | ||
+ | || 08.11.23 // 11.11.23 || [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_02/notes.pdf Конспект (продвинутая)] [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_02/notebook.ipynb Ноутбук] | ||
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | |style="background:#eaecf0;" | '''3''',[https://www.youtube.com/watch?v=wSbVMu_63zA&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=4 Запись (базовая)]<br/> [https://www.youtube.com/watch?v=Qpj3b1Nrc5o&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=5&t=4995s Запись (продвинутая)] |
− | + | ||Базовая: Градиентный спуск и модификации градиентного спуска <br/> Продвинутая: Кросс-валидация, R^2, вводные понятия классификации | |
− | || | + | || 15.11.23 // 18.11.23 || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/lesson3.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/sem1_ML_MLDS.ipynb Ноутбук (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_03_04/notes.pdf Конспект (продвинутая)] |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''4''', [https://www.youtube.com/watch?v=wSbVMu_63zA&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=4&t=4650s Запись (базовая)]<br/> [https://www.youtube.com/watch?v=Qpj3b1Nrc5o&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=5&t=6770s Запись (продвинутая)] || |
− | | | + | Базовая: Модификации градиентного спуска<br/> Продвинутая: Вывод SVM и логистической регрессии |
− | + | || 15.11.23 // 18.11.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/lesson3.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/sem1_ML_MLDS.ipynb Ноутбук (базовая)] <br/>[https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_03_04/notes.pdf Конспект (продвинутая)] | |
− | || 15.11.23 // 18.11.23 || | + | |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''5''', [https://www.youtube.com/watch?v=f7cnwI0jbfA&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=6&t=4478s&pp=iAQB Запись (базовая)]<br/> [https://www.youtube.com/watch?v=OZiMVZ3SfUw&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=7&pp=iAQB Запись (базовая, доп)]<br/> [https://www.youtube.com/watch?v=xz5gnPHO9KI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=8&pp=iAQB Запись (продвинутая)] |
− | + | || Базовая: Линейная классификация, логистическая регрессия. Доп. занятие: Метрики качества классификации, решение задач. <br/> Продвинутая: Решение задач по линейной регрессии и классификации | |
− | || | + | || 22.11.23 // 25.11.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_05/lesson5.pdf Конспект (базовая)] <br/>[https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_05/notes.pdf Конспект (продвинутая)] |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''6''', [https://www.youtube.com/watch?v=dCXfhaaYKXg&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=9 Запись (базовая)]<br/> [https://www.youtube.com/watch?v=eh8hUy2qJtM&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=11&pp=iAQB Запись (базовая, доп)]<br/> [https://www.youtube.com/watch?v=8c15nnzxcjI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=10&pp=iAQB Запись (продвинутая)] |
− | || | + | || Базовая: Метод опорных векторов. Доп. занятие: Разбор ноутбуков с кодом. <br/> Продвинутая: Многоклассовая классификация, калибровка, решение задач. |
− | + | || 22.11.23 // 25.11.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/lesson6.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/LogReg.ipynb Ноутбук 1 (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/Seminar5_MLDS_203.ipynb Ноутбук 2 (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/sem06-calibration.ipynb Ноутбук 3 (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_06/notes.pdf Конспект (продвинутая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_06/calibration.ipynb Ноутбук (продвинутая)] | |
− | || 22.11.23 // 25.11.23|| | + | |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''7''', [https://www.youtube.com/watch?v=NxnAyIdPXLs&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=12 Запись (базовая)] <br/> [https://www.youtube.com/watch?v=XuxtDYYBwOw&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=13&pp=iAQB Запись (продвинутая)] |
− | + | ||
|| Алгоритм построения дерева, критерии информативности (регрессия и классификация),<br/> обработка пропусков для деревьев, стрижка и регуляризация | || Алгоритм построения дерева, критерии информативности (регрессия и классификация),<br/> обработка пропусков для деревьев, стрижка и регуляризация | ||
− | || 29.11.23 // 02.12.23|| | + | || 29.11.23 // 02.12.23 || [ Конспект (базовая)] <br/>[https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_07/notes.pdf Конспект (продвинутая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_07/trees.ipynb Ноутбук (продвинутая)] |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''8''', [https://www.youtube.com/watch?v=wvOUmG5HZ24&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=14 Запись (базовая)] <br/> [https://www.youtube.com/watch?v=uPTRdqaOO3w&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=15&pp=iAQB Запись (продвинутая)] || |
Разложение ошибки на шум, смещение и разброс; бэггинг; случайный лес | Разложение ошибки на шум, смещение и разброс; бэггинг; случайный лес | ||
− | || 06.12.23 // 09.12.23|| | + | || 06.12.23 // 09.12.23|| [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_08/notes.pdf Конспект (продвинутая)] |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''9''', [https://www.youtube.com/watch?v=VMGJ2dxcL6U&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=16&pp=iAQB Запись (базовая)] <br/> [https://www.youtube.com/watch?v=EYtGxfvqkgw&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=17&pp=iAQB Консультация (базовая)] <br/> [https://www.youtube.com/watch?v=WY_hB4XBAjs&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=18&pp=iAQB Запись (продвинутая)] || |
Бустинг, градиентный бустинг над решающими деревьями, различные интерпретации GB;<br/> Прочие подходы к ансамблированию | Бустинг, градиентный бустинг над решающими деревьями, различные интерпретации GB;<br/> Прочие подходы к ансамблированию | ||
− | || 13.12.23 // 16.12.23|| | + | || 13.12.23 // 16.12.23|| [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_09/notes.pdf Конспект (продвинутая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_09/sem09-gbm-part2.ipynb Ноутбук (продвинутая)] |
|- | |- | ||
| Конец первого модуля курса | | | Конец первого модуля курса | | ||
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''10''', [https://www.youtube.com/watch?v=7rBXSuMLSmM Запись (базовая) LSH] <br> [https://www.youtube.com/watch?v=fd6CRIrfl9c Запись (базовая) KNN] <br/> [https://www.youtube.com/watch?v=w-nogOBfDSI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=25 Запись (продвинутая) LSH] <br/> [https://www.youtube.com/watch?v=Hh1bIwwW-d4&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=23 Запись (продвинутая) KNN] |
− | || | + | || Быстрый поиск ближайших соседей (KNN), LSH |
− | + | || 24.01.24 // 23.01.24|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_11/KNN_LSH.pdf Конспект №1 (базовая)] <br> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_12/NSW_HNSW.pdf Конспект №2 (базовая)] <br> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_11/notes.pdf Конспект №1 (продвинутая)] <br> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_12/notes.pdf Конспект №2 (продвинутая)] | |
− | || | + | |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''11''', [https://www.youtube.com/watch?v=A-sQyBAZMYQ&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=27 Запись (базовая)] <br/> [https://www.youtube.com/watch?v=L_scfeQvZ3s&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=28 Запись (продвинутая) Интерпретируемость] <br> [https://www.youtube.com/watch?v=mjmXs0KqzhY&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=29 Запись (продвинутая) SHAP, LIME] |
− | || | + | || Интерпретируемость ML-моделей, SHAP-values, LIME |
− | + | || 31.01.24 // 30.01.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_13/Lime%2BShap.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_13/LIME_SHAP_examples.ipynb Ноутбук (базовая)] <br> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_13/notes.pdf Конспект (продвинутая)] | |
− | || || | + | |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''12''', [https://www.youtube.com/watch?v=ht2hh8fxeVY&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=30 Запись (базовая)] <br> [https://www.youtube.com/watch?v=cGjfr9smKdU&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=31 Запись (продвинутая)] |
− | | | + | || Кластеризация, K-means, (H)DBSCAN, метрики качества (внутренние и внешние) |
− | + | || || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_14/clustering.pdf Конспект (базовая)] | |
− | || || | + | |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''13''', [https://www.youtube.com/watch?v=gpvSCZIeEt0&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=32 Запись (базовая)] <br> [https://www.youtube.com/watch?v=5auJj5k07QI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=33 Запись (продвинутая)] || |
Иерархическая кластеризация, подходы к графовой кластеризации. Optuna | Иерархическая кластеризация, подходы к графовой кластеризации. Optuna | ||
− | || || | + | || || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_15/clustering.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_15/sem11_clustering.ipynb Ноутбук (базовая)] |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''14''', [https://www.youtube.com/watch?v=ZsqTMfb4rxc&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=35 Запись (базовая)] <br> [https://www.youtube.com/watch?v=rDMFfG4Psd0&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=34 Запись (продвинутая)] |
− | + | ||
|| Ранжирование, метрики качества ранжирования (попарные, поточечные, списковые).<br/> Основные подходы к построению рекомендаций | || Ранжирование, метрики качества ранжирования (попарные, поточечные, списковые).<br/> Основные подходы к построению рекомендаций | ||
− | || || | + | || || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_16/rec_sys.pdf Конспект (базовая)] |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''15''', [[ Запись]] || |
Бустинги и факторизационные машины для рекомендаций | Бустинги и факторизационные машины для рекомендаций | ||
|| || | || || | ||
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''16''', [[ Запись]] |
|| ''Детекция аномалий и дисбаланс классов'' | || ''Детекция аномалий и дисбаланс классов'' | ||
|| ... | || ... | ||
|| || | || || | ||
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''17''', [[ Запись]] |
− | + | ||
|| Особенности работы со временными рядами (сэмплинг),<br/> характеристики временных рядов (стационарность, сезонность, автокорреляция),<br/> библиотеки для прогнозирования TS (prophet) | || Особенности работы со временными рядами (сэмплинг),<br/> характеристики временных рядов (стационарность, сезонность, автокорреляция),<br/> библиотеки для прогнозирования TS (prophet) | ||
|| || | || || | ||
Строка 128: | Строка 127: | ||
В случае если накопленная до экзамена оценка (опять же, до округления) < 7 и/или студент получил за коллоквиум во 2-м модуле < 6 баллов, то автомат за экзамен не предусмотрен. Итоговая оценка тогда считается по формуле ('''1'''), округляется и ставится в зачетку. | В случае если накопленная до экзамена оценка (опять же, до округления) < 7 и/или студент получил за коллоквиум во 2-м модуле < 6 баллов, то автомат за экзамен не предусмотрен. Итоговая оценка тогда считается по формуле ('''1'''), округляется и ставится в зачетку. | ||
+ | |||
+ | == Stepik == | ||
+ | |||
+ | Дедлайн прохождения курса: 10 марта 23.59 мск. | ||
== Тренировочные тесты == | == Тренировочные тесты == | ||
− | # | + | # Линейная регрессия: [https://forms.gle/KxFMbhhXXhSdXUya7 Тест] |
− | # | + | # Метрики классификации [https://forms.gle/F9vvraoXD8yCu9wv7 Тест] |
+ | # SVM, Калибровочные кривые, многокласовая классификация [https://forms.gle/vKgGm6d6ufj91iQD7 Тест] | ||
# Решающие деревья | # Решающие деревья | ||
# Композиции | # Композиции | ||
Строка 137: | Строка 141: | ||
# Кластеризация | # Кластеризация | ||
# RecSys | # RecSys | ||
+ | # Аномалии и временные ряды | ||
== Домашние задания == | == Домашние задания == | ||
− | + | Инвайты в [https://anytask.org/course/1068 Anytask]: <code>XB8hEr5</code> (гр.1 -- базовая (А. Рысьмятова));<br/> | |
+ | <code>3jpWkPz</code> (гр.2 -- продвинутая (М. Зехов)) | ||
− | # Линейная регрессия | + | # Линейная регрессия: [https://github.com/hse-mlds/ml/blob/main/hometasks/HT1/HW1_Regression_with_inference.ipynb Ноутбук], ‘’’Мягкий дедлайн: 29.11.2023 23.59 МСК, Жёсткий дедлайн: 06.12.2023 23.59 МСК''' |
− | # Линейная классификация | + | # Линейная классификация и отбор признаков: [https://github.com/hse-mlds/ml/blob/main/hometasks/HT2/HW2_Logistic_regression.ipynb Ноутбук] ‘’’Мягкий дедлайн: 16.12.2023 23.59 МСК, Жёсткий дедлайн: 23.12.2023 23.59 МСК''' |
# Решающие деревья. Ансамбли над решающими деревьями | # Решающие деревья. Ансамбли над решающими деревьями | ||
# Кластеризация | # Кластеризация | ||
Строка 148: | Строка 154: | ||
== Контрольная == | == Контрольная == | ||
− | + | ||
+ | [https://github.com/hse-mlds/ml/blob/main/midterm/questions.pdf Вопросы для подготовки] | ||
+ | |||
+ | [[ Демо-варинат ]]: Скоро | ||
+ | |||
+ | Дата: 22 декабря (ориентировочно) | ||
+ | |||
+ | Резервная дата: | ||
+ | |||
+ | Место: Контрольная пройдёт в зуме. Рассадка по зумам и ссылки появятся незадолго перед контрольной. | ||
+ | |||
+ | Длительность: 80 минут | ||
+ | |||
+ | Содержание: Два теоретических вопроса и три задачи | ||
+ | |||
+ | |||
+ | Правила: Работа выполняется от руки на бумаге. Пишем с одной камерой и включённой демонстрацией экрана (всего экрана, а не конкретного окна). | ||
+ | Пользоваться нельзя ничем. Читлистов нет. При зафиксированном факте списывания оценка обнуляется для всех непосредственно причастных. | ||
== Экзамен == | == Экзамен == |
Текущая версия на 15:36, 6 марта 2024
Содержание
О курсе
На курсе студенты узнают о классических и современных алгоритмах машинного обучения, научатся подходам для обработки и анализа данных. В курсе большое внимание уделяется линейным и нелинейным моделям регрессии и классификации. Часть курса посвящена обучению без учителя, в частности, методам снижения размерности и кластеризации. В курсе также изучаются такие популярные приложения методов машинного обучения как ранжирование, рекомендательные системы, поиск аномалий и временные ряды.
Занятия проводятся в Zoom:
Базовая группа: Среда, 18.00, Ссылка
Продвинутая группа: Суббота, 13.40, Ссылка
Контакты
Чат курса в TG: https://t.me/+Qvc86ptxVu42OWYy
Преподаватели: Рысьмятова Анастасия, Зехов Матвей
План занятий: Кантонистова Елена Олеговна
Ассистенты
Ассистент | Telegram |
---|---|
Юркин Андрей | @andreyyur1107 |
Москаленко Александр | @tau_ceti_pn |
Вересников Артём | @x7mlpvb |
Шанарова Надежда | @kronesine |
Матяш Дарья | @bwdare |
Бузилов Григорий | @GBuzilov |
Материалы курса
Плейлист курса на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC
GitHub с материалами курса: https://github.com/hse-mlds/ml
Занятие | Тема | Дата | Ссылки | |
---|---|---|---|---|
1, Запись (базовая) Запись (продвинутая) |
Базовая: Вводная лекция, линейная регрессия, основные понятия машинного обучения Продвинутая: Вводные понятия, матричное дифференцирование, явный вывод решения задачи линейной регрессиию |
03.11.23 // 11.11.23 | Презентация (базовая) Конспект (продвинутая) | |
2, Запись (базовая) Запись (продвинутая) |
Базовая: L1/L2 регуляризация, кросс-валидация, метрики качества регрессии |
08.11.23 // 11.11.23 | Конспект (продвинутая) Ноутбук | |
3,Запись (базовая) Запись (продвинутая) |
Базовая: Градиентный спуск и модификации градиентного спуска Продвинутая: Кросс-валидация, R^2, вводные понятия классификации |
15.11.23 // 18.11.23 | Конспект (базовая) Ноутбук (базовая) Конспект (продвинутая) | |
4, Запись (базовая) Запись (продвинутая) |
Базовая: Модификации градиентного спуска |
15.11.23 // 18.11.23 | Конспект (базовая) Ноутбук (базовая) Конспект (продвинутая) | |
5, Запись (базовая) Запись (базовая, доп) Запись (продвинутая) |
Базовая: Линейная классификация, логистическая регрессия. Доп. занятие: Метрики качества классификации, решение задач. Продвинутая: Решение задач по линейной регрессии и классификации |
22.11.23 // 25.11.23 | Конспект (базовая) Конспект (продвинутая) | |
6, Запись (базовая) Запись (базовая, доп) Запись (продвинутая) |
Базовая: Метод опорных векторов. Доп. занятие: Разбор ноутбуков с кодом. Продвинутая: Многоклассовая классификация, калибровка, решение задач. |
22.11.23 // 25.11.23 | Конспект (базовая) Ноутбук 1 (базовая) Ноутбук 2 (базовая) Ноутбук 3 (базовая) Конспект (продвинутая) Ноутбук (продвинутая) | |
7, Запись (базовая) Запись (продвинутая) |
Алгоритм построения дерева, критерии информативности (регрессия и классификация), обработка пропусков для деревьев, стрижка и регуляризация |
29.11.23 // 02.12.23 | [ Конспект (базовая)] Конспект (продвинутая) Ноутбук (продвинутая) | |
8, Запись (базовая) Запись (продвинутая) |
Разложение ошибки на шум, смещение и разброс; бэггинг; случайный лес |
06.12.23 // 09.12.23 | Конспект (продвинутая) | |
9, Запись (базовая) Консультация (базовая) Запись (продвинутая) |
Бустинг, градиентный бустинг над решающими деревьями, различные интерпретации GB; |
13.12.23 // 16.12.23 | Конспект (продвинутая) Ноутбук (продвинутая) | |
10, Запись (базовая) LSH Запись (базовая) KNN Запись (продвинутая) LSH Запись (продвинутая) KNN |
Быстрый поиск ближайших соседей (KNN), LSH | 24.01.24 // 23.01.24 | Конспект №1 (базовая) Конспект №2 (базовая) Конспект №1 (продвинутая) Конспект №2 (продвинутая) | |
11, Запись (базовая) Запись (продвинутая) Интерпретируемость Запись (продвинутая) SHAP, LIME |
Интерпретируемость ML-моделей, SHAP-values, LIME | 31.01.24 // 30.01.23 | Конспект (базовая) Ноутбук (базовая) Конспект (продвинутая) | |
12, Запись (базовая) Запись (продвинутая) |
Кластеризация, K-means, (H)DBSCAN, метрики качества (внутренние и внешние) | Конспект (базовая) | ||
13, Запись (базовая) Запись (продвинутая) |
Иерархическая кластеризация, подходы к графовой кластеризации. Optuna |
Конспект (базовая) Ноутбук (базовая) | ||
14, Запись (базовая) Запись (продвинутая) |
Ранжирование, метрики качества ранжирования (попарные, поточечные, списковые). Основные подходы к построению рекомендаций |
Конспект (базовая) | ||
15, Запись |
Бустинги и факторизационные машины для рекомендаций |
|||
16, Запись | Детекция аномалий и дисбаланс классов | ... | ||
17, Запись | Особенности работы со временными рядами (сэмплинг), характеристики временных рядов (стационарность, сезонность, автокорреляция), библиотеки для прогнозирования TS (prophet) |
Записи консультаций
Формула оценивания
Оценка = 0 * ОТренировочные тесты + 0.2 * ОStepik + 0.1 * ОКонтрольная + 0.2 * ОЭкзамен + 0.5 * ОДЗ (1)
Автоматы: Если накопленная до экзамена оценка (до округления) больше или равна 7, то она (после округления) по желанию студента ставится в качестве итоговой оценки. Для получения автомата также необходимо получить за контрольную не менее 6 баллов (неокругленных).
Под накопленной оценкой до экзамена понимаем Накоп_до_экзамена = Оценка / 0.8
В случае если накопленная до экзамена оценка (опять же, до округления) < 7 и/или студент получил за коллоквиум во 2-м модуле < 6 баллов, то автомат за экзамен не предусмотрен. Итоговая оценка тогда считается по формуле (1), округляется и ставится в зачетку.
Stepik
Дедлайн прохождения курса: 10 марта 23.59 мск.
Тренировочные тесты
- Линейная регрессия: Тест
- Метрики классификации Тест
- SVM, Калибровочные кривые, многокласовая классификация Тест
- Решающие деревья
- Композиции
- Быстрый kNN, интерпретация моделей
- Кластеризация
- RecSys
- Аномалии и временные ряды
Домашние задания
Инвайты в Anytask: XB8hEr5
(гр.1 -- базовая (А. Рысьмятова));
3jpWkPz
(гр.2 -- продвинутая (М. Зехов))
- Линейная регрессия: Ноутбук, ‘’’Мягкий дедлайн: 29.11.2023 23.59 МСК, Жёсткий дедлайн: 06.12.2023 23.59 МСК
- Линейная классификация и отбор признаков: Ноутбук ‘’’Мягкий дедлайн: 16.12.2023 23.59 МСК, Жёсткий дедлайн: 23.12.2023 23.59 МСК
- Решающие деревья. Ансамбли над решающими деревьями
- Кластеризация
- Аномалии, RecSys
Контрольная
Демо-варинат : Скоро
Дата: 22 декабря (ориентировочно)
Резервная дата:
Место: Контрольная пройдёт в зуме. Рассадка по зумам и ссылки появятся незадолго перед контрольной.
Длительность: 80 минут
Содержание: Два теоретических вопроса и три задачи
Правила: Работа выполняется от руки на бумаге. Пишем с одной камерой и включённой демонстрацией экрана (всего экрана, а не конкретного окна).
Пользоваться нельзя ничем. Читлистов нет. При зафиксированном факте списывания оценка обнуляется для всех непосредственно причастных.
Экзамен
Информация появится позднее
Литература
- Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009
- Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
- Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.
- Учебник по Машинному обучению: https://academy.yandex.ru/handbook/ml