Машинное обучение (ФЭН) - 2021-2022 — различия между версиями

Текущая версия на 18:37, 11 декабря 2021

О курсе

Преподаватели:

Лекции - Кантонистова Елена Олеговна

Семинары - Кантонистова Елена Олеговна, Ананьева Марина Евгеньевна, Липатов Иван Константинович

Лекции и семинары

Канал курса: https://t.me/ml_econom

Лекции проводятся в Zoom по вторникам в 13:00: Zoom

Все материалы лекций и семинаров находятся здесь: https://github.com/Murcha1990/ML_Econom_2021-2022

Ссылки на видеозаписи занятий

Записи лекций и семинаров: https://www.youtube.com/playlist?list=PLEwK9wdS5g0qi14fXKFnFzruUDg3nl6db

Как связаться с преподавателями и куда сдавать домашки

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

• самостоятельные работы на семинарах (пятиминутки);

• коллоквиум в сессию первого модуля (письменный);

• домашние задания (в том числе соревнование на Kaggle);

• экзамен в сессию второго модуля (письменный).

Все работы оцениваются в 10 баллов.

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

0.3 * Домашнее задание + 0.2 * Коллоквиум + 0.2 * Работа на семинаре + 0.3 * Экзамен

• Активная работа на семинаре добавляет +3 балла к следующей пятиминутке (максимум за пятиминутку в любом случае 10 баллов).

• 20% слушателей с наибольшим накопленным баллом получают автоматом 10 баллов за курс.

Коллоквиум

Коллоквиум будет проходить в сессию первого модуля 22.10.2021 (Пт) на первой паре в 9:30.
Онлайн (в зуме), в письменной форме (на листочке).

Общая информация:

• Коллоквиум рассчитан на 75 минут (1 час 15 мин), еще 5 минут у вас будет на загрузку решения в Anytask.
• Коллоквиум оценивается в 10 баллов и весит 20% от итоговой оценки за курс.
• Если мы заподозрим, что вы списали, то и вы, и человек, поделившийся решением, получаете 0 баллов. В случае, если вы не согласны с обвинениями в списывании, вы можете защитить работу устно: в этом случае мы спросим решение абсолютно любого задания из вашей работы, а также можем попросить решить похожее задание не из варианта коллоквиума.

Описание заданий:

• В заданиях 1 и 2 (с выбором вариантов ответа) необходимо указать варианты ответов, которые считаете верными, а также кратко обосновать, почему указанные варианты ответов верные, а остальные - нет.
• В задании 3 (теоретическое без выбора ответа) необходимо дать максимально подробный и развёрнутый ответ.
• В задании 4 (задача или пример) необходимо максимально подробно изложить ваши рассуждения и привести вычисления.
• В задании 5 (задание на написание кода) старайтесь писать понятный код с интерпретируемыми обозначениями и названиями. Код пишется на листочке с комментариями. За ошибки в синтаксисе баллы НЕ снижаем.

Подготовительный вариант вы можете посмотреть здесь: https://docs.google.com/document/d/1xErmREQt0z9ab5plpMO_AYSv0xZtXi7rwcwMi5rZUw4/edit

Запись консультации здесь: YouTube

Экзамен

Экзамен пройдёт 14 декабря (Вт) на первой паре в 9:30. Для студентов, которые по объективным и подтверждённым причинам не могут писать экзамен в основной день, резервное время - 18 декабря (Сб) в 9:30.

Экзамен будет состоять из 3-х частей:

• Части A (тестовая с вариантами ответа) на 2.5 балла с 16-ю заданиями равного веса
• Части B (задачи без вариантов ответа) на 3.5 балла с 6-ю заданиями равного веса
• Части C (работа с набором данных) на 4 балла с заданиями индивидуального веса

Пройдет экзамен на платформе online.hse.ru, на его выполнение будет дано 80 мин. Пожалуйста, убедитесь, что вы подключены к курсу по этой ссылке: https://online.hse.ru/course/view.php?id=4861

Шкала перевода первичных баллов за тест в оценку за экзамен:

• [6; 10] -> 10 баллов
• [5.4; 6.0) - 9
• [4.8; 5.4) - 8
• [4.2; 4.8) - 7
• [3.6; 4.2) - 6
• [3; 3.6) - 5
• [2.4; 3) - 4
• [0; 2.4) - неуд.

По усмотрению преподавателей курса критерии перевода баллов могут быть смягчены после оценки общего результата по всем студентам

Обращаем ваше внимание на то, что в тесте могут быть вопросы, не изучавшиеся в рамках курса. Это компенсируется тем, что для получения максимальной оценки можно выполнить далеко не все задания (таким образом, если вы не можете решить что-то по программе настоящего курса, у вас есть возможность "отыграться" за счёт внепрограммных вопросов).

Во время написания экзамена можно пользоваться всеми материалами курса, а также средой программирования на Python (рекомендуем подготовить её перед экзаменом, чтобы не терять время).

Задания 1-4 (1.75 первичных балла суммарно) внутри части C будут целиком на pandas, для выполнения заданий 5-6 необходимо будет воспользоваться библиотекой scikit-learn.

Лекции

Материалы лекций: https://github.com/Murcha1990/ML_Econom_2021-2022/tree/main/Лекции

Плейлист с лекциями и семинарами: https://youtube.com/playlist?list=PLEwK9wdS5g0qi14fXKFnFzruUDg3nl6db

Лекция 1. (03.09.2021) Введение в машинное обучение. | Lecture1.pdf

Лекция 2. (07.09.2021) Линейная регрессия, градиентный спуск. | Lecture2.pdf

Лекция 3. (14.09.2021) Метрики качества регрессии. | Lecture3.pdf

Лекция 4. (21.09.2021) Линейные классификаторы (1). | Lecture4.pdf

Лекция 5. (28.09.2021) Линейные классификаторы (2). | Lecture5.pdf

Лекция 6. (05.10.2021) Многоклассовая классификация. Нелинейные модели. Калибровка вероятностей. | Lecture6.pdf

Лекция 7. (12.10.2021) Снижение размерности | Lecture7.pdf

Лекция 8. (26.10.2021) kNN, Решающие деревья | Lecture8.pdf

Лекция 9. (02.11.2021) Композиции моделей. Разложение ошибки. Бэггинг. Случайный лес | Lecture9.pdf

Лекция 10 (09.11.2021) Бустинг | Lecture10.pdf

Лекция 11. (16.11.2021) Кластеризация и визуализация данных | Lecture11.pdf

Лекция 12. (23.11.2021) Работа с текстами. Поиск аномалий | Lecture12.pdf

Лекция 13. (30.11.2021) Временные ряды | Lecture13.pdf

Лекция 14. (07.12.2021) Введение в нейронные сети | Lecture14.pdf

Семинары

Материалы семинаров: https://github.com/Murcha1990/ML_Econom_2021-2022/tree/main/Семинары

Общий плейлист видео с семинаров и лекций: YouTube

Семинар 1. Основы линейной алгебры и матричного дифференцирования | GitHub

• Кантонистова Елена (Вт, 07.09.2021)
• Ананьева Марина (Ср, 08.09.2021)

Семинар 2. Линейная регрессия. Обучения и валидация качества модели | GitHub

• Липатов Иван (Пн, 13.09.2021)
• Кантонистова Елена (Вт, 14.09.2021)
• Ананьева Марина (Ср, 15.09.2021)

Семинар 3. Вывод оптимальных констант некоторых функций потерь. Обсуждение предобработки данных | GitHub

• Липатов Иван (Пн, 20.09.2021)
• Кантонистова Елена (Вт, 21.09.2021)
• Ананьева Марина (Ср, 22.09.2021)

Семинар 4. Задача бинарной классификации, Подготовка данных. | GitHub

• Липатов Иван (Пн, 27.09.2021)
• Кантонистова Елена (Вт, 28.09.2021)
• Ананьева Марина (Ср, 29.09.2021)

Семинар 5. Решение задач классификации. Подбор гиперпараметров | GitHub

• Липатов Иван (Пн, 04.10.2021)
• Кантонистова Елена (Вт, 05.10.2021)
• Ананьева Марина (Пт, 08.10.2021)

Семинар 6. Логистическая регрессия. SVM. AUC-ROC | GitHub

• Липатов Иван (Пн, 11.10.2021)
• Кантонистова Елена (Вт, 12.10.2021)
• Ананьева Марина (Ср, 13.10.2021)

Семинар 7. Обсуждение feature extraction и feature selection | GitHub

• Липатов Иван (Пн, 25.10.2021)
• Кантонистова Елена (Вт, 26.10.2021)
• Ананьева Марина (Ср, 27.10.2021)

Семинар 8. Решающие деревья | GitHub

• Липатов Иван (Пн, 01.11.2021)
• Кантонистова Елена (Вт, 02.11.2021)
• Ананьева Марина (Ср, 03.11.2021)

Семинар 9. Случайный лес и компромисс между смещением и разбросом | GitHub

• Липатов Иван (Пн, 08.11.2021)
• Кантонистова Елена (Вт, 09.11.2021)
• Ананьева Марина (Ср, 10.11.2021)

Семинар 10. Градиентный бустинг. Часть 1 | GitHub

• Липатов Иван (Пн, 15.11.2021)
• Кантонистова Елена (Вт, 16.11.2021)
• Ананьева Марина (Ср, 17.11.2021)

Семинар 11. Градиентный бустинг. Часть 2 | GitHub

• Липатов Иван (Пн, 22.11.2021)
• Кантонистова Елена (Вт, 23.11.2021)
• Ананьева Марина (Ср, 24.11.2021)

Семинар 12. Кластеризация | GitHub

• Липатов Иван (Пн, 29.11.2021)
• Кантонистова Елена (Вт, 30.11.2021)
• Ананьева Марина (Ср, 01.12.2021)

Семинар 13. Временные ряды. Поиск выбросов и аномалий | GitHub

• Липатов Иван (Пн, 06.12.2021)
• Кантонистова Елена (Вт, 07.12.2021)
• Ананьева Марина (Ср, 08.12.2021)

Домашние задания

На курсе планируется 7 домашних заданий, а будет 6. Формула вычисления итоговой оценки: взвешенное среднее из 6 5 домашних заданий с максимальными баллами.

Каждое домашнее задание имеет индивидуальный вес, который будет появляться одновременно с появлением очередного домашнего задания.

Все домашние работы, а также пятиминутки в начале семинаров необходимо сдавать в Anytask.

Домашняя работа 1. Линейная регрессия и векторное дифференцирование | Дедлайн - 29 сентября в 23:59

Домашняя работа 2. ML Pipeline | Дедлайн - 13 октября в 23:59

Домашняя работа 3. Модели классификации и оценка их качества | Дедлайн - 31 октября в 23:59 7 ноября в 23:59

Домашняя работа 4. kNN, DecisionTree, RandomForest, SGD classifier | Дедлайн - 25 ноября в 23:59

Домашняя работа 5. Kaggle InClass - Fraud Detection | Дедлайн - 13 декабря в 23:59

Домашняя работа 6. Бустинг. Снижение размерности | Дедлайн - 11 декабря в 23:59

Полезные материалы

Книги

• Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.r, 2009.
• Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
• Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
• Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
• Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
• Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

Курсы по машинному обучению и анализу данных

• Курс по машииному обучению Евгения Соколова на ПМИ ФКН
• Курс по машинному обучению К.В. Воронцова
• Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов
• Coursera: Машинное обучение и анализ данных (специализация)
• Coursera: Введение в машинное обучение, К.В. Воронцов