Машинное обучение (фэн 2019) — различия между версиями
Bdemeshev (обсуждение | вклад) (неделя 3) |
Bdemeshev (обсуждение | вклад) (→Полезные материалы) |
||
Строка 48: | Строка 48: | ||
[https://github.com/bdemeshev/mlearn_pro Задачник по машинному обучению] | [https://github.com/bdemeshev/mlearn_pro Задачник по машинному обучению] | ||
− | '''Неделя 1''' (лекция 6 сентября). [http://www.janmagnus.nl/misc/mdc-ch18.pdf Матричный дифференциал] | + | '''Неделя 1''' (лекция 6 сентября). Матричный дифференциал и его свойства. Формула оценивания. Киноклуб Two minutes paper. |
+ | |||
+ | [http://www.janmagnus.nl/misc/mdc-ch18.pdf Матричный дифференциал] | ||
+ | |||
+ | [https://www.youtube.com/channel/UCbfYPyITQ-7l4upoX8nvctg Two minutes paper] | ||
[https://www.coursera.org/learn/python-osnovy-programmirovaniya Курс по питону с курсеры] | [https://www.coursera.org/learn/python-osnovy-programmirovaniya Курс по питону с курсеры] | ||
Строка 56: | Строка 60: | ||
[https://distill.pub/2017/momentum/ Приятная визуализация Why momentum really works?] | [https://distill.pub/2017/momentum/ Приятная визуализация Why momentum really works?] | ||
+ | |||
[https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture02-linregr.pdf Лекция Евгения Соколова] | [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/lecture-notes/lecture02-linregr.pdf Лекция Евгения Соколова] | ||
+ | |||
[http://www.cs.cmu.edu/~aarti/Class/10725_Fall17/Lecture_Slides/stochastic_optimization_methods.pdf Слайды про SG, SAG от Carnegie Mellon] | [http://www.cs.cmu.edu/~aarti/Class/10725_Fall17/Lecture_Slides/stochastic_optimization_methods.pdf Слайды про SG, SAG от Carnegie Mellon] | ||
Строка 62: | Строка 68: | ||
[https://en.wikipedia.org/wiki/Stein%27s_example Wikipedia, Stein's example] | [https://en.wikipedia.org/wiki/Stein%27s_example Wikipedia, Stein's example] | ||
+ | |||
[http://www.statslab.cam.ac.uk/~rjs57/SteinParadox.pdf Richard Samworth, Stein Paradox] | [http://www.statslab.cam.ac.uk/~rjs57/SteinParadox.pdf Richard Samworth, Stein Paradox] | ||
− | |||
+ | [https://github.com/esokolov/ml-course-hse/blob/master/2019-fall/lecture-notes/lecture03-linregr.pdf Лекция Евгения Соколова] | ||
+ | [https://stats.stackexchange.com/questions/122062 Что общего между Ridge regression и Stein paradox?] | ||
===Книги=== | ===Книги=== |
Версия 17:16, 23 сентября 2019
Содержание
О курсе
[... Таблица с оценками]
Группа | Преподаватель | Учебный ассистент | Username | Расписание |
---|---|---|---|---|
лекции | Борис Демешев | R405, пятница, 9:00-10:30 | ||
... | Павел Губко | |||
... | Артем Филатов | |||
... | Артур Петросян |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Квизы (самостоятельные работы) на семинарах, проверяющие знание основных фактов с лекций и выполнение теоретических домашних заданий
- Практические домашние работы на Python
- Соревнование по анализу данных
- Устный коллоквиум в конце 1-го модуля
- Письменный экзамен
Итоговая оценка = 0.2 * Квизы + 0.3 * Домашние задания + 0.2 * Коллоквиум + 0.3 * Экзамен
Накопленная и итоговая оценки округляются арифметически. Никакие промежуточные оценки, в том числе оценки за домашние задания, самостоятельные работы или коллоквиум, не округляются.
Оценка за самостоятельную работу вычисляется как сумма баллов по всем самостоятельным, переведенная в 10 бальную шкалу. Оценка за домашнюю работу — как сумма баллов по всем практическим заданиям и соревнованию, переведенная в 10 бальную шкалу. Количество баллов за разные задания может различаться в зависимости от их сложности.
По курсу возможно получение оценки автоматом без сдачи экзамена. Необходимым условием для получения автомата является накопленная оценка, равная 8 или выше.
Коллоквиум и экзамен
Коллоквиум будет проведен ...
- коллоквиум будет включать в себя теоретические вопросы и задачи
- на подготовку и ответ будет выделено примерно по ... минут
- пользоваться при подготовке ничем нельзя
Экзамен будет проведен ...
Полезные материалы
Задачник по машинному обучению
Неделя 1 (лекция 6 сентября). Матричный дифференциал и его свойства. Формула оценивания. Киноклуб Two minutes paper.
Неделя 2 (лекция 13 сентября). Второй дифференциал. Явный вывод оценок МНК в матричной форме. Проверка условий второго порядка с помощью второго дифференциала. Градиентный спуск. Методы оценки градиента: SG, SAG, momentum.
Приятная визуализация Why momentum really works?
Слайды про SG, SAG от Carnegie Mellon
Неделя 3 (лекция 20 сентября). Парадокс Штейна или зачем нужна регуляризация? Идея LASSO и гребневой регрессии.
Richard Samworth, Stein Paradox
Что общего между Ridge regression и Stein paradox?
Книги
- Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.r, 2009.
- Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
- Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
- Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
- Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.