Прикладная статистика в машинном обучении 20/21 — различия между версиями
(даты в лекциях) |
|||
| Строка 25: | Строка 25: | ||
=== Лекции === | === Лекции === | ||
| − | + | [10 сентября] Лекция 1: Метод максимального правдоподобия: точечные и интервальные оценки. | |
* [https://vr360.hse.ru/account/broadcasts/164 видео] | * [https://vr360.hse.ru/account/broadcasts/164 видео] | ||
* Почитать: [http://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Ryan Martin, Maximum Likelihood] | * Почитать: [http://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Ryan Martin, Maximum Likelihood] | ||
| − | + | [17 сентября] Лекция 2: Тест отношения правдоподобия и тест Вальда. | |
* [https://vr360.hse.ru/account/broadcasts/323 видео] | * [https://vr360.hse.ru/account/broadcasts/323 видео] | ||
* Почитать: [http://hedibert.org/wp-content/uploads/2014/04/W-LR-LM-Tests-in-Econometrics-Engle1984.pdf Engle, LR, LM, W tests] | * Почитать: [http://hedibert.org/wp-content/uploads/2014/04/W-LR-LM-Tests-in-Econometrics-Engle1984.pdf Engle, LR, LM, W tests] | ||
| − | + | [24 сентября] Лекция 3: Тест множителей Лагранжа и энтропия. | |
* [https://vr360.hse.ru/account/broadcasts/443 видео] | * [https://vr360.hse.ru/account/broadcasts/443 видео] | ||
* Почитать: [https://colah.github.io/posts/2015-09-Visual-Information/ Visual Information] | * Почитать: [https://colah.github.io/posts/2015-09-Visual-Information/ Visual Information] | ||
| − | + | [1 октября] Лекция 4: EM-алгоритм. | |
* [https://vr360.hse.ru/account/broadcasts/544 видео] | * [https://vr360.hse.ru/account/broadcasts/544 видео] | ||
* Почитать: [http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Martin Haugh, EM algorithm] | * Почитать: [http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Martin Haugh, EM algorithm] | ||
| − | + | [8 октября] Лекция 5: EM-алгоритм и Bootstrap. | |
* [https://www.youtube.com/watch?v=nofJ8TxC2ZA&feature=youtu.be видео] | * [https://www.youtube.com/watch?v=nofJ8TxC2ZA&feature=youtu.be видео] | ||
* Почитать: [https://arxiv.org/pdf/1411.5279.pdf Tim Hesterberg, What teachers should know about bootstrap?], [https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf Jeremy Orloff Bootstrap CI] | * Почитать: [https://arxiv.org/pdf/1411.5279.pdf Tim Hesterberg, What teachers should know about bootstrap?], [https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf Jeremy Orloff Bootstrap CI] | ||
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/5.pdf конспект] | * [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/5.pdf конспект] | ||
| − | + | [15 октября] Лекция 6: Регрессия и нормальное распределение. | |
* Почитать: [https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf Stahl, Evolution of the Normal distribution], [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Jaynes, Normal distribution (chapter from Probability: the logic of Science] | * Почитать: [https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf Stahl, Evolution of the Normal distribution], [http://www-biba.inrialpes.fr/Jaynes/cc07s.pdf Jaynes, Normal distribution (chapter from Probability: the logic of Science] | ||
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/6.pdf конспект] | * [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/6.pdf конспект] | ||
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страницы 26-27] | * [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страницы 26-27] | ||
| − | + | [22 октября] Лекция 7: Распределение хи-квадрат и F-распределение. F-тест. | |
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страница 28 и 31] | * [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страница 28 и 31] | ||
| − | + | [29 октября] Лекция 8: Повтор про F-распределение, t-распределение. | |
| − | + | [5 ноября] Лекция 9: Гетероскедастичность и бутстрэп | |
* Почитать: [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference MacKinnon Heteroscedasticity], [https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f бутстрэп на практике от vk] | * Почитать: [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference MacKinnon Heteroscedasticity], [https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f бутстрэп на практике от vk] | ||
Версия 09:04, 13 ноября 2020
Содержание
О курсе
Курс читается для студентов 3-го курса в 1-2 модулях.
Лектор: Демешев Борис Борисович
Лекции проходят по пятницам (09:30 - 10:50) онлайн на вышкинской vr360.
Семинарист: Владимир Омелюсик
Семинары проходят по вторникам в 13:00 - 14:20 в ауд. G115 и в 14:40 - 16:00 в D504
Учебные ассистенты: Камилла Бахтиева (181), Наталия Бондаренко (182)
Полезные ссылки
Боевой листок
Лекции
[10 сентября] Лекция 1: Метод максимального правдоподобия: точечные и интервальные оценки.
- видео
- Почитать: Ryan Martin, Maximum Likelihood
[17 сентября] Лекция 2: Тест отношения правдоподобия и тест Вальда.
- видео
- Почитать: Engle, LR, LM, W tests
[24 сентября] Лекция 3: Тест множителей Лагранжа и энтропия.
- видео
- Почитать: Visual Information
[1 октября] Лекция 4: EM-алгоритм.
- видео
- Почитать: Martin Haugh, EM algorithm
[8 октября] Лекция 5: EM-алгоритм и Bootstrap.
- видео
- Почитать: Tim Hesterberg, What teachers should know about bootstrap?, Jeremy Orloff Bootstrap CI
- конспект
[15 октября] Лекция 6: Регрессия и нормальное распределение.
- Почитать: Stahl, Evolution of the Normal distribution, Jaynes, Normal distribution (chapter from Probability: the logic of Science
- конспект
- печатный конспект, страницы 26-27
[22 октября] Лекция 7: Распределение хи-квадрат и F-распределение. F-тест.
[29 октября] Лекция 8: Повтор про F-распределение, t-распределение.
[5 ноября] Лекция 9: Гетероскедастичность и бутстрэп
Семинары
Семинар 1: Метод максимального правдоподобия.
Семинар 2: Тесты LR, LM и Wald.
Семинар 3: Энтропия и дивергенция Кульбака-Лейблера.
- Конспект
- Видео
- Заметки (стр. 16) NB: Кульбак!
Семинар 4: EM-алгоритм.
Семинар 5: EM-алгоритм и Bootstrap.
Семинар 6: Геометрия МНК.
Семинар 7: Распределения.
Семинар 8: Тестирование гипотез в линейной регрессии.
Семинар 9: Гетероскедастичность.
Домашние задания
Домашнее задание 1. Метод максимального правдоподобия.
Дедлайн: 11.10.2020, 23:59 МСК
[Условие]
Задания для подготовки
Квиз 2. Дивергенция Кульбака-Лейблера. EM-алгоритм.
[Условие]
Квиз 3. Проверка гипотез в линейной модели. Гетероскедастичность.
[Условие]
Консультации
Консультация 25.10.2020.
Отчётность по курсу и критерии оценки
Домашние задания
Домашние задания загружаются в личный репозиторий в GitHub Classroom.
Правила оформления решений находятся на первой странице каждого домашнего задания.
Контрольная работа
Контрольная работа состоится онлайн 7-го ноября с 18:00 до 21:00. В контрольную работу войдут задачи по темам лекций и семинаров.
[Задание]
Экзамен
Итоговая оценка за курс
Итоговая оценка за курс рассчитывается по следующей формуле: Итог = 0.3 × ДЗ + 0.3 × КР + 0.2 × К + 0.2 × Э,
где
ДЗ — усреднённая оценка за все домашние задания,
КР — оценка за контрольную работу,
Э — оценка за экзамен,
К — усреднённая оценка за все квизы на семинарах.
Округление арифметическое, округляется только итоговая оценка.
