Прикладная статистика в машинном обучении 20/21 — различия между версиями
(7 лекция) |
|||
| (не показано 19 промежуточных версии 3 участников) | |||
| Строка 28: | Строка 28: | ||
* [https://vr360.hse.ru/account/broadcasts/164 видео] | * [https://vr360.hse.ru/account/broadcasts/164 видео] | ||
* Почитать: [http://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Ryan Martin, Maximum Likelihood] | * Почитать: [http://www2.stat.duke.edu/~sayan/SAMSI/lec/411notes03.pdf Ryan Martin, Maximum Likelihood] | ||
| + | * [https://drive.google.com/file/d/1ec6TRZ3hLunb85KkVVNbj2ydmzFHDp9U/view?usp=sharing/ Тех-конспект лекции] | ||
[17 сентября] Лекция 2: Тест отношения правдоподобия и тест Вальда. | [17 сентября] Лекция 2: Тест отношения правдоподобия и тест Вальда. | ||
* [https://vr360.hse.ru/account/broadcasts/323 видео] | * [https://vr360.hse.ru/account/broadcasts/323 видео] | ||
* Почитать: [http://hedibert.org/wp-content/uploads/2014/04/W-LR-LM-Tests-in-Econometrics-Engle1984.pdf Engle, LR, LM, W tests] | * Почитать: [http://hedibert.org/wp-content/uploads/2014/04/W-LR-LM-Tests-in-Econometrics-Engle1984.pdf Engle, LR, LM, W tests] | ||
| + | * [https://drive.google.com/file/d/13iTEdhwyWNb7EC7T3fpH6FT8-WwIFyOM/view?usp=sharing/ Тех-конспект лекции] | ||
[24 сентября] Лекция 3: Тест множителей Лагранжа и энтропия. | [24 сентября] Лекция 3: Тест множителей Лагранжа и энтропия. | ||
* [https://vr360.hse.ru/account/broadcasts/443 видео] | * [https://vr360.hse.ru/account/broadcasts/443 видео] | ||
* Почитать: [https://colah.github.io/posts/2015-09-Visual-Information/ Visual Information] | * Почитать: [https://colah.github.io/posts/2015-09-Visual-Information/ Visual Information] | ||
| + | * [https://drive.google.com/file/d/1jOWpdL-y71ehiTUn_vp8-qu6hgZwTUhS/view?usp=sharing/ Тех-конспект лекции] | ||
[1 октября] Лекция 4: EM-алгоритм. | [1 октября] Лекция 4: EM-алгоритм. | ||
* [https://vr360.hse.ru/account/broadcasts/544 видео] | * [https://vr360.hse.ru/account/broadcasts/544 видео] | ||
* Почитать: [http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Martin Haugh, EM algorithm] | * Почитать: [http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Martin Haugh, EM algorithm] | ||
| + | * [https://drive.google.com/file/d/1n99-Fj_N2pH8xtNuGD0MVxvfZY9kvclu/view?usp=sharing/ Тех-конспект лекции] | ||
[8 октября] Лекция 5: EM-алгоритм и Bootstrap. | [8 октября] Лекция 5: EM-алгоритм и Bootstrap. | ||
| Строка 45: | Строка 49: | ||
* Почитать: [https://arxiv.org/pdf/1411.5279.pdf Tim Hesterberg, What teachers should know about bootstrap?], [https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf Jeremy Orloff Bootstrap CI] | * Почитать: [https://arxiv.org/pdf/1411.5279.pdf Tim Hesterberg, What teachers should know about bootstrap?], [https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf Jeremy Orloff Bootstrap CI] | ||
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/5.pdf конспект] | * [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/5.pdf конспект] | ||
| + | * [https://drive.google.com/file/d/17smGIhK20-w7cVCv1w_gz67tRyQzx-4-/view?usp=sharing/ Тех-конспект лекции] | ||
[15 октября] Лекция 6: Регрессия и нормальное распределение. | [15 октября] Лекция 6: Регрессия и нормальное распределение. | ||
| Строка 50: | Строка 55: | ||
* [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/6.pdf конспект] | * [https://github.com/V-Marco/psmo_20_21/blob/master/lectures/6.pdf конспект] | ||
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страницы 26-27] | * [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страницы 26-27] | ||
| + | * [https://drive.google.com/file/d/1QnTcHvFJGL_onWmCkGPLlU_f-JWxos5u/view?usp=sharing/ Тех-конспект лекции] | ||
[22 октября] Лекция 7: Распределение хи-квадрат и F-распределение. F-тест. | [22 октября] Лекция 7: Распределение хи-квадрат и F-распределение. F-тест. | ||
* [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страница 28 и 31] | * [https://github.com/olyagnilova/gauss-markov-pythagoras/raw/master/paper.pdf печатный конспект, страница 28 и 31] | ||
| + | * [https://drive.google.com/file/d/1mdG7v7eRB4i9fnOwc13B6RoACcGD8VMX/view?usp=sharing/ Тех-конспект лекции] | ||
[29 октября] Лекция 8: Повтор про F-распределение, t-распределение. | [29 октября] Лекция 8: Повтор про F-распределение, t-распределение. | ||
| + | * [https://drive.google.com/file/d/1hpTXfHXLoimaWhC40KDJ0IR5FAHZHOn2/view?usp=sharing/ Конспект от руки] | ||
[5 ноября] Лекция 9: Гетероскедастичность и бутстрэп | [5 ноября] Лекция 9: Гетероскедастичность и бутстрэп | ||
* Почитать: [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference MacKinnon Heteroscedasticity], [https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f бутстрэп на практике от vk] | * Почитать: [https://www.researchgate.net/publication/254447243_Thirty_Years_of_Heteroskedasticity-Robust_Inference MacKinnon Heteroscedasticity], [https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f бутстрэп на практике от vk] | ||
| + | * [https://drive.google.com/file/d/1G-XHPo6hFJpTFfiq4uu6RFmchew03tt4/view?usp=sharing/ Тех-конспект лекции] | ||
| − | [13 ноября] Лекция 10: | + | [13 ноября] Лекция 10: разбор задач из контрольной |
| − | + | * [https://www.youtube.com/watch?v=uxUjBlIMTJ4&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=3/ Видео лекции] | |
| + | * [https://drive.google.com/file/d/187wsU3vDVI0MH89EKd_5Qm4ztT0RoIvj/view?usp=sharing/ Конспект от руки] | ||
| + | * [https://drive.google.com/file/d/1jHfClh1k7Mo-MvkThajzJmfkg9UU-79M/view?usp=sharing/ Тех-конспект лекции] | ||
[20 ноября] Лекция 11: Гостевая лекция: метрики, MDE, бутстрэп. | [20 ноября] Лекция 11: Гостевая лекция: метрики, MDE, бутстрэп. | ||
| + | * [https://drive.google.com/file/d/1DxJFiKYvrwcC8YNuitHQrRGTP5sSU2Ha/view?usp=sharing/ Презентация лектора-гостя] | ||
| + | * [https://www.youtube.com/watch?v=cWmS-ws4z9I&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=6/ Видео лекции] | ||
| + | * [https://drive.google.com/file/d/1J9-NokteDQAP7ALrCmD8e7Bfi9ngIPu6/view?usp=sharing/ Тех-конспект лекции] | ||
| + | [27 ноября] Лекция 12: Байесовский подход | ||
| + | * [https://www.youtube.com/watch?v=ckDRLsvQOOM&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=7/ Видео лекции] | ||
| + | * [https://drive.google.com/file/d/1nrKXvnj6-qu73u5yFpFxp27LOotiCGaJ/view?usp=sharing/ Конспект от руки] | ||
| + | * [https://drive.google.com/file/d/1YurUDL-XJVsf0b0YUR-62mgccTzxxRYk/view?usp=sharing/ Тех-конспект лекции] | ||
| − | [ | + | [4 декабря] Лекция 13: Байесовский подход: продолжение |
| + | * [https://www.youtube.com/watch?v=qX4yWGN6mPA&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=5/ Видео лекции] | ||
| + | * [https://drive.google.com/file/d/1hrTGi-I7fgzG_d8flhS-ntQJxKUoRN_h/view?usp=sharing/ Конспект от руки] | ||
| + | * [https://drive.google.com/file/d/1e5cxx0Y2oRAzOBD3xgKEV1RiFR15V1yf/view?usp=sharing/ Тех-конспект лекции] | ||
| + | [11 декабря] Лекция 14: Алгоритм Метрополиса-Гастингса | ||
| + | * [https://www.youtube.com/watch?v=eMih7kNAmdk&list=PL1poMUvVlAqf5idtcXaJErosZWBdZVu5H&index=4/ Видео лекции] | ||
| + | * [https://drive.google.com/file/d/11bF3eQO6eqC9zzLh6uqcXsFDllfHVeJw/view?usp=sharing/ Конспект от руки] | ||
| + | * [https://drive.google.com/file/d/1SJnHh2D06aqpM622rQgOr3RGtAnT3I-u/view?usp=sharing/ Одна версия тех-конспекта] и [https://drive.google.com/file/d/1ymKrhRrT5Qr12YUo62OGobLd1ZR4giXu/view?usp=sharing/ вторая] | ||
| − | [ | + | [18 декабря] Лекция 15: |
| + | * [https://drive.google.com/file/d/1q8Og_3lB2XxfIsOGubHpID1JrDu2kGoT/view?usp=sharing/ Конспект от руки] | ||
| + | * [https://drive.google.com/file/d/1ATlrmdvaNd-XxioiADhy-kw4O37s5FyK/view?usp=sharing/ Тех-конспект лекции] | ||
| − | + | Если что, все тех-конспекты и конспекты от руки, что указаны здесь, лежат в [https://drive.google.com/drive/folders/17djgKYxeuoa1h_FOJXQA552wSVZkgvZ5?usp=sharing/ этой] папке, поэтому если мы ошиблись со ссылками (а мы могли), то ищите нужный файл в ней | |
| − | [ | + | |
| − | + | ||
| − | + | ||
| − | + | ||
=== Семинары === | === Семинары === | ||
| Строка 136: | Строка 159: | ||
Семинар 13: Байесовские методы. | Семинар 13: Байесовские методы. | ||
* [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem13/sem13_task.pdf Задачи] | * [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem13/sem13_task.pdf Задачи] | ||
| + | * [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem13/sem13.pdf Конспект] | ||
| + | * [https://youtu.be/3Y6J1TCEOXg Видео] | ||
| + | |||
| + | Семинар 14: Байесовские методы. | ||
| + | * [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem14/PSMO_sem14.pdf Конспект] | ||
| + | * [https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem14/psmo_sem14.ipynb Кодспект] | ||
| + | * [https://youtu.be/xc3tbaWThU4 Видео] | ||
=== Домашние задания === | === Домашние задания === | ||
Текущая версия на 14:33, 20 декабря 2020
Содержание
О курсе
Курс читается для студентов 3-го курса в 1-2 модулях.
Лектор: Демешев Борис Борисович
Лекции проходят по пятницам (09:30 - 10:50) онлайн на вышкинской vr360.
Семинарист: Владимир Омелюсик
Семинары проходят по вторникам в 13:00 - 14:20 в ауд. G115 и в 14:40 - 16:00 в D504
Учебные ассистенты: Камилла Бахтиева (181), Наталия Бондаренко (182)
Полезные ссылки
Боевой листок
Лекции
[10 сентября] Лекция 1: Метод максимального правдоподобия: точечные и интервальные оценки.
[17 сентября] Лекция 2: Тест отношения правдоподобия и тест Вальда.
- видео
- Почитать: Engle, LR, LM, W tests
- Тех-конспект лекции
[24 сентября] Лекция 3: Тест множителей Лагранжа и энтропия.
- видео
- Почитать: Visual Information
- Тех-конспект лекции
[1 октября] Лекция 4: EM-алгоритм.
[8 октября] Лекция 5: EM-алгоритм и Bootstrap.
- видео
- Почитать: Tim Hesterberg, What teachers should know about bootstrap?, Jeremy Orloff Bootstrap CI
- конспект
- Тех-конспект лекции
[15 октября] Лекция 6: Регрессия и нормальное распределение.
- Почитать: Stahl, Evolution of the Normal distribution, Jaynes, Normal distribution (chapter from Probability: the logic of Science
- конспект
- печатный конспект, страницы 26-27
- Тех-конспект лекции
[22 октября] Лекция 7: Распределение хи-квадрат и F-распределение. F-тест.
[29 октября] Лекция 8: Повтор про F-распределение, t-распределение.
[5 ноября] Лекция 9: Гетероскедастичность и бутстрэп
[13 ноября] Лекция 10: разбор задач из контрольной
[20 ноября] Лекция 11: Гостевая лекция: метрики, MDE, бутстрэп.
[27 ноября] Лекция 12: Байесовский подход
[4 декабря] Лекция 13: Байесовский подход: продолжение
[11 декабря] Лекция 14: Алгоритм Метрополиса-Гастингса
[18 декабря] Лекция 15:
Если что, все тех-конспекты и конспекты от руки, что указаны здесь, лежат в этой папке, поэтому если мы ошиблись со ссылками (а мы могли), то ищите нужный файл в ней
Семинары
Семинар 1: Метод максимального правдоподобия.
Семинар 2: Тесты LR, LM и Wald.
Семинар 3: Энтропия и дивергенция Кульбака-Лейблера.
- Конспект
- Видео
- Заметки (стр. 16) NB: Кульбак!
Семинар 4: EM-алгоритм.
Семинар 5: EM-алгоритм и Bootstrap.
Семинар 6: Геометрия МНК.
Семинар 7: Распределения.
Семинар 8: Тестирование гипотез в линейной регрессии.
Семинар 9: Гетероскедастичность.
Семинар 10: Мультиколлинеарность. Отбор регрессоров.
Семинар 11: Эндогенность.
Семинар 12: Множественное тестирование. Байесовские методы.
Семинар 13: Байесовские методы.
Семинар 14: Байесовские методы.
Домашние задания
Домашнее задание 1. Метод максимального правдоподобия.
Дедлайн: 11.10.2020, 23:59 МСК
[Условие]
Домашнее задание 2. EM-алгоритм. Линейная регрессия.
Дедлайн: 01.12.2020, 23:59 МСК
[Условие]
Домашнее задание 3. Тестирование гипотез. Байесовский подход.
Дедлайн: 17.12.2020, 23:59 МСК
[Условие]
Бонусное домашнее задание
Дедлайн: 17.12.2020, 23:59 МСК
[Условие]
Задания для подготовки
Квиз 2. Дивергенция Кульбака-Лейблера. EM-алгоритм.
[Условие]
Квиз 3. Проверка гипотез в линейной модели. Гетероскедастичность.
[Условие]
Квиз 4. Тестирование гипотез. Байесовский подход.
[Условие]
Консультации
Консультация 25.10.2020.
Отчётность по курсу и критерии оценки
Домашние задания
Домашние задания загружаются в личный репозиторий в GitHub Classroom.
Правила оформления решений находятся на первой странице каждого домашнего задания.
Контрольная работа
Контрольная работа состоится онлайн 7-го ноября с 18:00 до 21:00. В контрольную работу войдут задачи по темам лекций и семинаров.
[Задание]
Экзамен
Экзамен состоится онлайн 21 декабря с 13:00 до 16:00. По формату экзамен будет похож на контрольную работу. Вопрос об автоматах уточняется.
Написание пропущенных работ
19 декабря (время уточняется) можно будет:
- Написать неограниченное число пропущенных по уважительной причине квизов или контрольную.
- Написать один любой пропущенный по любой причине квиз.
- Переписать один любой квиз со штрафом: максимум можно будет получить 8 баллов (выставляется минимум из количества набранных баллов и 8).
Итоговая оценка за курс
Итоговая оценка за курс рассчитывается по следующей формуле: Итог = 0.3 × ДЗ + 0.3 × КР + 0.2 × К + 0.2 × Э,
где
ДЗ — усреднённая оценка за все домашние задания,
КР — оценка за контрольную работу,
Э — оценка за экзамен,
К — усреднённая оценка за все квизы на семинарах.
Округление арифметическое, округляется только итоговая оценка.
