Прикладная статистика в машинном обучении 20/21 — различия между версиями
Bdemeshev (обсуждение | вклад) |
(даты в лекциях) |
||
Строка 25: | Строка 25: | ||
=== Лекции === | === Лекции === | ||
− | Лекция 1: Метод максимального правдоподобия: точечные и интервальные оценки. | + | Лекция 1 [10 сентября]: Метод максимального правдоподобия: точечные и интервальные оценки. |
* [https://vr360.hse.ru/account/broadcasts/164 видео] | * [https://vr360.hse.ru/account/broadcasts/164 видео] | ||
* Почитать: [http://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Ryan Martin, Maximum Likelihood] | * Почитать: [http://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Ryan Martin, Maximum Likelihood] | ||
− | Лекция 2: Тест отношения правдоподобия и тест Вальда. | + | Лекция 2 [17 сентября]: Тест отношения правдоподобия и тест Вальда. |
* [https://vr360.hse.ru/account/broadcasts/323 видео] | * [https://vr360.hse.ru/account/broadcasts/323 видео] | ||
* Почитать: [http://hedibert.org/wp-content/uploads/2014/04/W-LR-LM-Tests-in-Econometrics-Engle1984.pdf Engle, LR, LM, W tests] | * Почитать: [http://hedibert.org/wp-content/uploads/2014/04/W-LR-LM-Tests-in-Econometrics-Engle1984.pdf Engle, LR, LM, W tests] | ||
− | Лекция 3: Тест множителей Лагранжа и энтропия. | + | Лекция 3 [24 сентября]: Тест множителей Лагранжа и энтропия. |
* [https://vr360.hse.ru/account/broadcasts/443 видео] | * [https://vr360.hse.ru/account/broadcasts/443 видео] | ||
* Почитать: [https://colah.github.io/posts/2015-09-Visual-Information/ Visual Information] | * Почитать: [https://colah.github.io/posts/2015-09-Visual-Information/ Visual Information] | ||
− | Лекция 4: EM-алгоритм. | + | Лекция 4 [1 октября]: EM-алгоритм. |
* [https://vr360.hse.ru/account/broadcasts/544 видео] | * [https://vr360.hse.ru/account/broadcasts/544 видео] | ||
* Почитать: [http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Martin Haugh, EM algorithm] | * Почитать: [http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Martin Haugh, EM algorithm] | ||
− | Лекция 5: EM-алгоритм и Bootstrap. | + | Лекция 5 [8 октября]: EM-алгоритм и Bootstrap. |
* [https://www.youtube.com/watch?v=nofJ8TxC2ZA&feature=youtu.be видео] | * [https://www.youtube.com/watch?v=nofJ8TxC2ZA&feature=youtu.be видео] | ||
* Почитать: [https://arxiv.org/pdf/1411.5279.pdf Tim Hesterberg, What teachers should know about bootstrap?], [https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf Jeremy Orloff Bootstrap CI] | * Почитать: [https://arxiv.org/pdf/1411.5279.pdf Tim Hesterberg, What teachers should know about bootstrap?], [https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf Jeremy Orloff Bootstrap CI] | ||
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/5.pdf конспект] | * [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/5.pdf конспект] | ||
− | Лекция 6. Регрессия и нормальное распределение. | + | Лекция 6 [15 октября]. Регрессия и нормальное распределение. |
* Почитать: [https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf Stahl, Evolution of the Normal distribution], [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Jaynes, Normal distribution (chapter from Probability: the logic of Science] | * Почитать: [https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf Stahl, Evolution of the Normal distribution], [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Jaynes, Normal distribution (chapter from Probability: the logic of Science] | ||
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/6.pdf конспект] | * [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/6.pdf конспект] | ||
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страницы 26-27] | * [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страницы 26-27] | ||
− | Лекция 7: Распределение хи-квадрат и F-распределение. F-тест. | + | Лекция 7 [22 октября]: Распределение хи-квадрат и F-распределение. F-тест. |
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страница 28 и 31] | * [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страница 28 и 31] | ||
− | Лекция 8: Повтор про F-распределение, t-распределение. | + | Лекция 8 [29 октября]: Повтор про F-распределение, t-распределение. |
− | Лекция 9: Гетероскедастичность и бутстрэп | + | Лекция 9 [5 ноября]: Гетероскедастичность и бутстрэп |
* Почитать: [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference MacKinnon Heteroscedasticity], [https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f бутстрэп на практике от vk] | * Почитать: [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference MacKinnon Heteroscedasticity], [https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f бутстрэп на практике от vk] | ||
Версия 08:56, 13 ноября 2020
Содержание
О курсе
Курс читается для студентов 3-го курса в 1-2 модулях.
Лектор: Демешев Борис Борисович
Лекции проходят по пятницам (09:30 - 10:50) онлайн на вышкинской vr360.
Семинарист: Владимир Омелюсик
Семинары проходят по вторникам в 13:00 - 14:20 в ауд. G115 и в 14:40 - 16:00 в D504
Учебные ассистенты: Камилла Бахтиева (181), Наталия Бондаренко (182)
Полезные ссылки
Боевой листок
Лекции
Лекция 1 [10 сентября]: Метод максимального правдоподобия: точечные и интервальные оценки.
- видео
- Почитать: Ryan Martin, Maximum Likelihood
Лекция 2 [17 сентября]: Тест отношения правдоподобия и тест Вальда.
- видео
- Почитать: Engle, LR, LM, W tests
Лекция 3 [24 сентября]: Тест множителей Лагранжа и энтропия.
- видео
- Почитать: Visual Information
Лекция 4 [1 октября]: EM-алгоритм.
- видео
- Почитать: Martin Haugh, EM algorithm
Лекция 5 [8 октября]: EM-алгоритм и Bootstrap.
- видео
- Почитать: Tim Hesterberg, What teachers should know about bootstrap?, Jeremy Orloff Bootstrap CI
- конспект
Лекция 6 [15 октября]. Регрессия и нормальное распределение.
- Почитать: Stahl, Evolution of the Normal distribution, Jaynes, Normal distribution (chapter from Probability: the logic of Science
- конспект
- печатный конспект, страницы 26-27
Лекция 7 [22 октября]: Распределение хи-квадрат и F-распределение. F-тест.
Лекция 8 [29 октября]: Повтор про F-распределение, t-распределение.
Лекция 9 [5 ноября]: Гетероскедастичность и бутстрэп
Семинары
Семинар 1: Метод максимального правдоподобия.
Семинар 2: Тесты LR, LM и Wald.
Семинар 3: Энтропия и дивергенция Кульбака-Лейблера.
- Конспект
- Видео
- Заметки (стр. 16) NB: Кульбак!
Семинар 4: EM-алгоритм.
Семинар 5: EM-алгоритм и Bootstrap.
Семинар 6: Геометрия МНК.
Семинар 7: Распределения.
Семинар 8: Тестирование гипотез в линейной регрессии.
Семинар 9: Гетероскедастичность.
Домашние задания
Домашнее задание 1. Метод максимального правдоподобия.
Дедлайн: 11.10.2020, 23:59 МСК
[Условие]
Задания для подготовки
Квиз 2. Дивергенция Кульбака-Лейблера. EM-алгоритм.
[Условие]
Квиз 3. Проверка гипотез в линейной модели. Гетероскедастичность.
[Условие]
Консультации
Консультация 25.10.2020.
Отчётность по курсу и критерии оценки
Домашние задания
Домашние задания загружаются в личный репозиторий в GitHub Classroom.
Правила оформления решений находятся на первой странице каждого домашнего задания.
Контрольная работа
Контрольная работа состоится онлайн 7-го ноября с 18:00 до 21:00. В контрольную работу войдут задачи по темам лекций и семинаров.
[Задание]
Экзамен
Итоговая оценка за курс
Итоговая оценка за курс рассчитывается по следующей формуле: Итог = 0.3 × ДЗ + 0.3 × КР + 0.2 × К + 0.2 × Э,
где
ДЗ — усреднённая оценка за все домашние задания,
КР — оценка за контрольную работу,
Э — оценка за экзамен,
К — усреднённая оценка за все квизы на семинарах.
Округление арифметическое, округляется только итоговая оценка.