МОВС Ключевой семинар Машинное обучение, ML (2023-24 уч. год, 2-3 модули) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показано 49 промежуточных версии 3 участников)
Строка 42: Строка 42:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
  ! Занятие !! Блок !! Тема !! Дата !! Ссылки  
+
  ! Занятие !! Тема !! Дата !! Ссылки  
 
|-
 
|-
 
| style="background:#eaecf0;" | '''1''', [https://www.youtube.com/watch?v=o5o7zcJ2vAQ&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=1&t=3093s Запись (базовая)] <br/>  [https://www.youtube.com/watch?v=W4xOcfgSb4k Запись (продвинутая)]  
 
| style="background:#eaecf0;" | '''1''', [https://www.youtube.com/watch?v=o5o7zcJ2vAQ&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=1&t=3093s Запись (базовая)] <br/>  [https://www.youtube.com/watch?v=W4xOcfgSb4k Запись (продвинутая)]  
−
|rowspan="2"| ''Линейная регрессия''
+
|| Базовая: Вводная лекция, линейная регрессия, основные понятия машинного обучения <br/> Продвинутая: Вводные понятия, матричное дифференцирование, явный вывод решения задачи линейной регрессиию
−
|| [[ Материалы]] Нормализация данных, feature engineering, метрики качества регрессии.<br/> Методы оценивания обобщающей способности моделей, кросс-валидация
+
 
|| 03.11.23 // 11.11.23 ||  [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_01/LinearRegression.pdf Презентация (базовая)]<br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_01/notes.pdf Конспект (продвинутая)]
 
|| 03.11.23 // 11.11.23 ||  [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_01/LinearRegression.pdf Презентация (базовая)]<br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_01/notes.pdf Конспект (продвинутая)]
 
|-  
 
|-  
 
| style="background:#eaecf0;" | '''2''', [https://www.youtube.com/watch?v=apQZ9RAJ58I&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=2&t=495s Запись (базовая)]<br/> [https://www.youtube.com/watch?v=W4xOcfgSb4k&t=6695s Запись (продвинутая)]  ||  
 
| style="background:#eaecf0;" | '''2''', [https://www.youtube.com/watch?v=apQZ9RAJ58I&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=2&t=495s Запись (базовая)]<br/> [https://www.youtube.com/watch?v=W4xOcfgSb4k&t=6695s Запись (продвинутая)]  ||  
−
Продолжение
+
Базовая: L1/L2 регуляризация, кросс-валидация, метрики качества регрессии <br/> Продвинутая: Градиентный спуск, регуляризация, альтернативные лоссы
 
|| 08.11.23 // 11.11.23 || [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_02/notes.pdf Конспект (продвинутая)] [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_02/notebook.ipynb Ноутбук]
 
|| 08.11.23 // 11.11.23 || [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_02/notes.pdf Конспект (продвинутая)] [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_02/notebook.ipynb Ноутбук]
−
|-
 
−
| style="background:#eaecf0;" | '''3''', [[ Запись]]
 
−
|rowspan="2"| ''Линейная классификация''
 
−
|| Логистическая регрессия, калибровка вероятностей. kNN (метрический метод)
 
−
|| 15.11.23 // 18.11.23 ||
 
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''', [[ Запись]] ||  
+
|style="background:#eaecf0;" | '''3''',[https://www.youtube.com/watch?v=wSbVMu_63zA&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=4 Запись (базовая)]<br/> [https://www.youtube.com/watch?v=Qpj3b1Nrc5o&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=5&t=4995s Запись (продвинутая)]
−
SVM, SVM-kernels. Метрики качества классификации. Счётчики.
+
||Базовая: Градиентный спуск и модификации градиентного спуска <br/> Продвинутая: Кросс-валидация, R^2, вводные понятия классификации
−
|| 15.11.23 // 18.11.23||  
+
|| 15.11.23 // 18.11.23 || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/lesson3.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/sem1_ML_MLDS.ipynb Ноутбук (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_03_04/notes.pdf Конспект (продвинутая)]
 +
|-
 +
| style="background:#eaecf0;" | '''4''', [https://www.youtube.com/watch?v=wSbVMu_63zA&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=4&t=4650s  Запись (базовая)]<br/> [https://www.youtube.com/watch?v=Qpj3b1Nrc5o&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=5&t=6770s Запись (продвинутая)] ||  
 +
Базовая: Модификации градиентного спуска<br/> Продвинутая: Вывод SVM и логистической регрессии
 +
|| 15.11.23 // 18.11.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/lesson3.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_03/sem1_ML_MLDS.ipynb Ноутбук (базовая)] <br/>[https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_03_04/notes.pdf Конспект (продвинутая)]
 +
|-
 +
| style="background:#eaecf0;" | '''5''', [https://www.youtube.com/watch?v=f7cnwI0jbfA&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=6&t=4478s&pp=iAQB  Запись (базовая)]<br/> [https://www.youtube.com/watch?v=OZiMVZ3SfUw&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=7&pp=iAQB Запись (базовая, доп)]<br/> [https://www.youtube.com/watch?v=xz5gnPHO9KI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=8&pp=iAQB Запись (продвинутая)] 
 +
|| Базовая: Линейная классификация, логистическая регрессия. Доп. занятие: Метрики качества классификации, решение задач. <br/> Продвинутая: Решение задач по линейной регрессии и классификации
 +
|| 22.11.23 // 25.11.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_05/lesson5.pdf Конспект (базовая)] <br/>[https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_05/notes.pdf Конспект (продвинутая)]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''', [[ Запись]]  
+
| style="background:#eaecf0;" | '''6''', [https://www.youtube.com/watch?v=dCXfhaaYKXg&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=9  Запись (базовая)]<br/> [https://www.youtube.com/watch?v=eh8hUy2qJtM&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=11&pp=iAQB Запись (базовая, доп)]<br/> [https://www.youtube.com/watch?v=8c15nnzxcjI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=10&pp=iAQB Запись (продвинутая)]
−
|| ''Снижение размерности данных''
+
|| Базовая: Метод опорных векторов. Доп. занятие: Разбор ноутбуков с кодом. <br/> Продвинутая: Многоклассовая классификация, калибровка, решение задач.
−
|| Методы отбора признаков, расширения SVD, MDS, t-SNE
+
|| 22.11.23 // 25.11.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/lesson6.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/LogReg.ipynb Ноутбук 1 (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/Seminar5_MLDS_203.ipynb Ноутбук 2 (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_06/sem06-calibration.ipynb Ноутбук 3 (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_06/notes.pdf Конспект (продвинутая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_06/calibration.ipynb Ноутбук (продвинутая)]
−
|| 22.11.23 // 25.11.23||
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''', [[ Запись]]
+
| style="background:#eaecf0;" | '''7''', [https://www.youtube.com/watch?v=NxnAyIdPXLs&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=12  Запись (базовая)] <br/> [https://www.youtube.com/watch?v=XuxtDYYBwOw&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=13&pp=iAQB Запись (продвинутая)] 
−
|rowspan="3"| ''Решающие деревья и их композиции''
+
 
|| Алгоритм построения дерева, критерии информативности (регрессия и классификация),<br/> обработка пропусков для деревьев, стрижка и регуляризация  
 
|| Алгоритм построения дерева, критерии информативности (регрессия и классификация),<br/> обработка пропусков для деревьев, стрижка и регуляризация  
−
|| 29.11.23 // 02.12.23||  
+
|| 29.11.23 // 02.12.23 || [ Конспект (базовая)] <br/>[https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_07/notes.pdf Конспект (продвинутая)] <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_07/trees.ipynb Ноутбук (продвинутая)]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''', [[ Запись]] ||  
+
| style="background:#eaecf0;" | '''8''', [https://www.youtube.com/watch?v=wvOUmG5HZ24&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=14  Запись (базовая)] <br/> [https://www.youtube.com/watch?v=uPTRdqaOO3w&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=15&pp=iAQB Запись (продвинутая)]   ||  
 
Разложение ошибки на шум, смещение и разброс; бэггинг; случайный лес
 
Разложение ошибки на шум, смещение и разброс; бэггинг; случайный лес
−
|| 06.12.23 // 09.12.23||  
+
|| 06.12.23 // 09.12.23|| [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_08/notes.pdf Конспект (продвинутая)]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''', [[ Запись]] ||  
+
| style="background:#eaecf0;" | '''9''', [https://www.youtube.com/watch?v=VMGJ2dxcL6U&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=16&pp=iAQB Запись (базовая)] <br/> [https://www.youtube.com/watch?v=EYtGxfvqkgw&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=17&pp=iAQB Консультация (базовая)]  <br/> [https://www.youtube.com/watch?v=WY_hB4XBAjs&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=18&pp=iAQB Запись (продвинутая)] ||  
 
Бустинг, градиентный бустинг над решающими деревьями, различные интерпретации GB;<br/> Прочие подходы к ансамблированию  
 
Бустинг, градиентный бустинг над решающими деревьями, различные интерпретации GB;<br/> Прочие подходы к ансамблированию  
−
|| 13.12.23 // 16.12.23||  
+
|| 13.12.23 // 16.12.23|| [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_09/notes.pdf Конспект (продвинутая)]  <br/> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_09/sem09-gbm-part2.ipynb Ноутбук (продвинутая)]
 
|-
 
|-
 
| Конец первого модуля курса |
 
| Конец первого модуля курса |
 
|-
 
|-
−
| style="background:#eaecf0;" | '''9''', [[ Запись]]  
+
| style="background:#eaecf0;" | '''10''', [https://www.youtube.com/watch?v=7rBXSuMLSmM Запись (базовая) LSH] <br> [https://www.youtube.com/watch?v=fd6CRIrfl9c Запись (базовая) KNN] <br/> [https://www.youtube.com/watch?v=w-nogOBfDSI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=25 Запись (продвинутая) LSH] <br/> [https://www.youtube.com/watch?v=Hh1bIwwW-d4&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=23 Запись (продвинутая) KNN]
−
|| ''Быстрый поиск ближайших соседей''
+
|| Быстрый поиск ближайших соседей (KNN), LSH
−
|| LSH
+
|| 24.01.24 // 23.01.24|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_11/KNN_LSH.pdf Конспект №1 (базовая)] <br> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_12/NSW_HNSW.pdf Конспект №2 (базовая)] <br> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_11/notes.pdf Конспект №1 (продвинутая)] <br> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_12/notes.pdf Конспект №2 (продвинутая)]
−
|| 20.12.23 // 21.12.23||  
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''10''', [[ Запись]]  
+
| style="background:#eaecf0;" | '''11''', [https://www.youtube.com/watch?v=A-sQyBAZMYQ&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=27 Запись (базовая)] <br/> [https://www.youtube.com/watch?v=L_scfeQvZ3s&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=28 Запись (продвинутая) Интерпретируемость] <br> [https://www.youtube.com/watch?v=mjmXs0KqzhY&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=29 Запись (продвинутая) SHAP, LIME]
−
|| ''Интерпретируемость ML-моделей''
+
|| Интерпретируемость ML-моделей, SHAP-values, LIME
−
|| SHAP-values, LIME
+
|| 31.01.24 // 30.01.23|| [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_13/Lime%2BShap.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_13/LIME_SHAP_examples.ipynb Ноутбук (базовая)] <br> [https://github.com/hse-mlds/ml/blob/main/advanced_group/lesson_13/notes.pdf Конспект (продвинутая)]
−
|| ||  
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''11''', [[ Запись]]  
+
| style="background:#eaecf0;" | '''12''', [https://www.youtube.com/watch?v=ht2hh8fxeVY&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=30 Запись (базовая)] <br> [https://www.youtube.com/watch?v=cGjfr9smKdU&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=31 Запись (продвинутая)]  
−
|rowspan="2"| ''Кластеризация''
+
|| Кластеризация, K-means, (H)DBSCAN, метрики качества (внутренние и внешние)
−
|| K-means, (H)DBSCAN, метрики качества (внутренние и внешние)
+
||  || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_14/clustering.pdf Конспект (базовая)]
−
||  ||
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''12''', [[ Запись]] ||   
+
| style="background:#eaecf0;" | '''13''', [https://www.youtube.com/watch?v=gpvSCZIeEt0&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=32 Запись (базовая)] <br> [https://www.youtube.com/watch?v=5auJj5k07QI&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=33 Запись (продвинутая)] ||   
 
Иерархическая кластеризация, подходы к графовой кластеризации. Optuna
 
Иерархическая кластеризация, подходы к графовой кластеризации. Optuna
−
||  ||  
+
||  || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_15/clustering.pdf Конспект (базовая)] <br/> [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_15/sem11_clustering.ipynb Ноутбук (базовая)]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''13''', [[ Запись]]
+
| style="background:#eaecf0;" | '''14''', [https://www.youtube.com/watch?v=ZsqTMfb4rxc&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=35 Запись (базовая)] <br> [https://www.youtube.com/watch?v=rDMFfG4Psd0&list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC&index=34 Запись (продвинутая)]
−
|rowspan="2"| ''Рекомендательные системы и ранжирование''
+
 
|| Ранжирование, метрики качества ранжирования (попарные, поточечные, списковые).<br/> Основные подходы к построению рекомендаций
 
|| Ранжирование, метрики качества ранжирования (попарные, поточечные, списковые).<br/> Основные подходы к построению рекомендаций
−
||  ||  
+
||  || [https://github.com/hse-mlds/ml/blob/main/base_group/lesson_16/rec_sys.pdf Конспект (базовая)]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''14''', [[ Запись]] ||   
+
| style="background:#eaecf0;" | '''15''', [[ Запись]] ||   
 
Бустинги и факторизационные машины для рекомендаций
 
Бустинги и факторизационные машины для рекомендаций
 
||  ||  
 
||  ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''15''', [[ Запись]]   
+
| style="background:#eaecf0;" | '''16''', [[ Запись]]   
 
|| ''Детекция аномалий и дисбаланс классов''
 
|| ''Детекция аномалий и дисбаланс классов''
 
|| ...
 
|| ...
 
||  ||  
 
||  ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''16''', [[ Запись]]
+
| style="background:#eaecf0;" | '''17''', [[ Запись]]
−
|| ''Прогнозирование временных рядов''
+
 
|| Особенности работы со временными рядами (сэмплинг),<br/> характеристики временных рядов (стационарность, сезонность, автокорреляция),<br/> библиотеки для прогнозирования TS (prophet)
 
|| Особенности работы со временными рядами (сэмплинг),<br/> характеристики временных рядов (стационарность, сезонность, автокорреляция),<br/> библиотеки для прогнозирования TS (prophet)
 
|| ||
 
|| ||
Строка 132: Строка 127:
  
 
В случае если накопленная до экзамена оценка (опять же, до округления) < 7 и/или студент получил за коллоквиум во 2-м модуле < 6 баллов, то автомат за экзамен не предусмотрен. Итоговая оценка тогда считается по формуле ('''1'''), округляется и ставится в зачетку.
 
В случае если накопленная до экзамена оценка (опять же, до округления) < 7 и/или студент получил за коллоквиум во 2-м модуле < 6 баллов, то автомат за экзамен не предусмотрен. Итоговая оценка тогда считается по формуле ('''1'''), округляется и ставится в зачетку.
 +
 +
== Stepik ==
 +
 +
Дедлайн прохождения курса: 10 марта 23.59 мск.
  
 
== Тренировочные тесты ==
 
== Тренировочные тесты ==
−
# Линейная регрессия [https://forms.gle/KxFMbhhXXhSdXUya7 Тест]
+
# Линейная регрессия: [https://forms.gle/KxFMbhhXXhSdXUya7 Тест]
−
# Классификация (линейные + метрические методы)
+
# Метрики классификации [https://forms.gle/F9vvraoXD8yCu9wv7 Тест]
−
# Методы снижения размерности
+
# SVM, Калибровочные кривые, многокласовая классификация [https://forms.gle/vKgGm6d6ufj91iQD7 Тест]
 
# Решающие деревья
 
# Решающие деревья
 
# Композиции
 
# Композиции
Строка 145: Строка 144:
  
 
== Домашние задания ==
 
== Домашние задания ==
−
Инвайты в [https://anytask.org/course/1068 Anytask]: <code>XB8hEr5</code> (гр.1 -- базовая (А. Рысьмятова)); <code>3jpWkPz</code> (гр.2 -- продвинутая (М. Зехов))
+
Инвайты в [https://anytask.org/course/1068 Anytask]: <code>XB8hEr5</code> (гр.1 -- базовая (А. Рысьмятова));<br/>
 +
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;<code>3jpWkPz</code> (гр.2 -- продвинутая (М. Зехов))
  
−
# Линейная регрессия [https://github.com/hse-mlds/ml/blob/main/hometasks/HT1/HW1_Regression_with_inference.ipynb Ноутбук] '''Дедлайн: 29.11.2023 23.59 МСК'''
+
# Линейная регрессия: [https://github.com/hse-mlds/ml/blob/main/hometasks/HT1/HW1_Regression_with_inference.ipynb Ноутбук], ‘’’Мягкий дедлайн: 29.11.2023 23.59 МСК, Жёсткий дедлайн: 06.12.2023 23.59 МСК'''
−
# Линейная классификация
+
# Линейная классификация и отбор признаков: [https://github.com/hse-mlds/ml/blob/main/hometasks/HT2/HW2_Logistic_regression.ipynb Ноутбук]  ‘’’Мягкий дедлайн: 16.12.2023 23.59 МСК, Жёсткий дедлайн: 23.12.2023 23.59 МСК'''
 
# Решающие деревья. Ансамбли над решающими деревьями
 
# Решающие деревья. Ансамбли над решающими деревьями
 
# Кластеризация
 
# Кластеризация
Строка 160: Строка 160:
  
 
Дата: 22 декабря (ориентировочно)
 
Дата: 22 декабря (ориентировочно)
 +
 
Резервная дата:  
 
Резервная дата:  
  
Строка 165: Строка 166:
  
 
Длительность: 80 минут
 
Длительность: 80 минут
 +
 
Содержание: Два теоретических вопроса и три задачи
 
Содержание: Два теоретических вопроса и три задачи
  
  
−
Правила: Пишем с одной камерой и включённой демонстрацией экрана (всего экрана, а не конкретного окна).  
+
Правила: Работа выполняется от руки на бумаге. Пишем с одной камерой и включённой демонстрацией экрана (всего экрана, а не конкретного окна).  
 
Пользоваться нельзя ничем. Читлистов нет. При зафиксированном факте списывания оценка обнуляется для всех непосредственно причастных.
 
Пользоваться нельзя ничем. Читлистов нет. При зафиксированном факте списывания оценка обнуляется для всех непосредственно причастных.
  

Текущая версия на 15:36, 6 марта 2024

О курсе

На курсе студенты узнают о классических и современных алгоритмах машинного обучения, научатся подходам для обработки и анализа данных. В курсе большое внимание уделяется линейным и нелинейным моделям регрессии и классификации. Часть курса посвящена обучению без учителя, в частности, методам снижения размерности и кластеризации. В курсе также изучаются такие популярные приложения методов машинного обучения как ранжирование, рекомендательные системы, поиск аномалий и временные ряды.

Занятия проводятся в Zoom:

Базовая группа: Среда, 18.00, Ссылка

Продвинутая группа: Суббота, 13.40, Ссылка

Контакты

Чат курса в TG: https://t.me/+Qvc86ptxVu42OWYy

Преподаватели: Рысьмятова Анастасия, Зехов Матвей

План занятий: Кантонистова Елена Олеговна

Ассистенты

Ассистент Telegram
Юркин Андрей @andreyyur1107
Москаленко Александр @tau_ceti_pn
Вересников Артём @x7mlpvb
Шанарова Надежда @kronesine
Матяш Дарья @bwdare
Бузилов Григорий @GBuzilov

Материалы курса

Плейлист курса на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzCglOyTkTZ_bBHKd8eUr8pC

GitHub с материалами курса: https://github.com/hse-mlds/ml

Занятие Тема Дата Ссылки
1, Запись (базовая)
Запись (продвинутая) 		Базовая: Вводная лекция, линейная регрессия, основные понятия машинного обучения
Продвинутая: Вводные понятия, матричное дифференцирование, явный вывод решения задачи линейной регрессиию 		03.11.23 // 11.11.23 Презентация (базовая)
Конспект (продвинутая)
2, Запись (базовая)
Запись (продвинутая)

Базовая: L1/L2 регуляризация, кросс-валидация, метрики качества регрессии
Продвинутая: Градиентный спуск, регуляризация, альтернативные лоссы

08.11.23 // 11.11.23 Конспект (продвинутая) Ноутбук
3,Запись (базовая)
Запись (продвинутая) 		Базовая: Градиентный спуск и модификации градиентного спуска
Продвинутая: Кросс-валидация, R^2, вводные понятия классификации 		15.11.23 // 18.11.23 Конспект (базовая)
Ноутбук (базовая)
Конспект (продвинутая)
4, Запись (базовая)
Запись (продвинутая)

Базовая: Модификации градиентного спуска
Продвинутая: Вывод SVM и логистической регрессии

15.11.23 // 18.11.23 Конспект (базовая)
Ноутбук (базовая)
Конспект (продвинутая)
5, Запись (базовая)
Запись (базовая, доп)
Запись (продвинутая) 		Базовая: Линейная классификация, логистическая регрессия. Доп. занятие: Метрики качества классификации, решение задач.
Продвинутая: Решение задач по линейной регрессии и классификации 		22.11.23 // 25.11.23 Конспект (базовая)
Конспект (продвинутая)
6, Запись (базовая)
Запись (базовая, доп)
Запись (продвинутая) 		Базовая: Метод опорных векторов. Доп. занятие: Разбор ноутбуков с кодом.
Продвинутая: Многоклассовая классификация, калибровка, решение задач. 		22.11.23 // 25.11.23 Конспект (базовая)
Ноутбук 1 (базовая)
Ноутбук 2 (базовая)
Ноутбук 3 (базовая)
Конспект (продвинутая)
Ноутбук (продвинутая)
7, Запись (базовая)
Запись (продвинутая) 		Алгоритм построения дерева, критерии информативности (регрессия и классификация),
обработка пропусков для деревьев, стрижка и регуляризация 		29.11.23 // 02.12.23 [ Конспект (базовая)]
Конспект (продвинутая)
Ноутбук (продвинутая)
8, Запись (базовая)
Запись (продвинутая)

Разложение ошибки на шум, смещение и разброс; бэггинг; случайный лес

06.12.23 // 09.12.23 Конспект (продвинутая)
9, Запись (базовая)
Консультация (базовая)
Запись (продвинутая)

Бустинг, градиентный бустинг над решающими деревьями, различные интерпретации GB;
Прочие подходы к ансамблированию

13.12.23 // 16.12.23 Конспект (продвинутая)
Ноутбук (продвинутая)
10, Запись (базовая) LSH
Запись (базовая) KNN
Запись (продвинутая) LSH
Запись (продвинутая) KNN 		Быстрый поиск ближайших соседей (KNN), LSH 24.01.24 // 23.01.24 Конспект №1 (базовая)
Конспект №2 (базовая)
Конспект №1 (продвинутая)
Конспект №2 (продвинутая)
11, Запись (базовая)
Запись (продвинутая) Интерпретируемость
Запись (продвинутая) SHAP, LIME 		Интерпретируемость ML-моделей, SHAP-values, LIME 31.01.24 // 30.01.23 Конспект (базовая)
Ноутбук (базовая)
Конспект (продвинутая)
12, Запись (базовая)
Запись (продвинутая) 		Кластеризация, K-means, (H)DBSCAN, метрики качества (внутренние и внешние) Конспект (базовая)
13, Запись (базовая)
Запись (продвинутая)

Иерархическая кластеризация, подходы к графовой кластеризации. Optuna

Конспект (базовая)
Ноутбук (базовая)
14, Запись (базовая)
Запись (продвинутая) 		Ранжирование, метрики качества ранжирования (попарные, поточечные, списковые).
Основные подходы к построению рекомендаций 		Конспект (базовая)
15, Запись

Бустинги и факторизационные машины для рекомендаций

16, Запись Детекция аномалий и дисбаланс классов ...
17, Запись Особенности работы со временными рядами (сэмплинг),
характеристики временных рядов (стационарность, сезонность, автокорреляция),
библиотеки для прогнозирования TS (prophet)

Записи консультаций

Формула оценивания

Оценка = 0 * ОТренировочные тесты + 0.2 * ОStepik + 0.1 * ОКонтрольная + 0.2 * ОЭкзамен + 0.5 * ОДЗ (1)

Автоматы: Если накопленная до экзамена оценка (до округления) больше или равна 7, то она (после округления) по желанию студента ставится в качестве итоговой оценки. Для получения автомата также необходимо получить за контрольную не менее 6 баллов (неокругленных).

Под накопленной оценкой до экзамена понимаем Накоп_до_экзамена = Оценка / 0.8

В случае если накопленная до экзамена оценка (опять же, до округления) < 7 и/или студент получил за коллоквиум во 2-м модуле < 6 баллов, то автомат за экзамен не предусмотрен. Итоговая оценка тогда считается по формуле (1), округляется и ставится в зачетку.

Stepik

Дедлайн прохождения курса: 10 марта 23.59 мск.

Тренировочные тесты

  1. Линейная регрессия: Тест
  2. Метрики классификации Тест
  3. SVM, Калибровочные кривые, многокласовая классификация Тест
  4. Решающие деревья
  5. Композиции
  6. Быстрый kNN, интерпретация моделей
  7. Кластеризация
  8. RecSys
  9. Аномалии и временные ряды

Домашние задания

Инвайты в Anytask: XB8hEr5 (гр.1 -- базовая (А. Рысьмятова));
                                     3jpWkPz (гр.2 -- продвинутая (М. Зехов))

  1. Линейная регрессия: Ноутбук, ‘’’Мягкий дедлайн: 29.11.2023 23.59 МСК, Жёсткий дедлайн: 06.12.2023 23.59 МСК
  2. Линейная классификация и отбор признаков: Ноутбук ‘’’Мягкий дедлайн: 16.12.2023 23.59 МСК, Жёсткий дедлайн: 23.12.2023 23.59 МСК
  3. Решающие деревья. Ансамбли над решающими деревьями
  4. Кластеризация
  5. Аномалии, RecSys

Контрольная

Вопросы для подготовки

Демо-варинат : Скоро

Дата: 22 декабря (ориентировочно)

Резервная дата:

Место: Контрольная пройдёт в зуме. Рассадка по зумам и ссылки появятся незадолго перед контрольной.

Длительность: 80 минут

Содержание: Два теоретических вопроса и три задачи


Правила: Работа выполняется от руки на бумаге. Пишем с одной камерой и включённой демонстрацией экрана (всего экрана, а не конкретного окна). Пользоваться нельзя ничем. Читлистов нет. При зафиксированном факте списывания оценка обнуляется для всех непосредственно причастных.

Экзамен

Информация появится позднее

Литература

  • Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009
  • Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
  • Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.
  • Учебник по Машинному обучению: https://academy.yandex.ru/handbook/ml
Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Ключевой_семинар_Машинное_обучение,_ML_(2023-24_уч._год,_2-3_модули)&oldid=84060»