Прикладная статистика в машинном обучении 20/21

О курсе

Курс читается для студентов 3-го курса в 1-2 модулях.

Лектор: Демешев Борис Борисович

Лекции проходят по пятницам (09:30 - 10:50) онлайн на вышкинской vr360.

Семинарист: Владимир Омелюсик

Семинары проходят по вторникам в 13:00 - 14:20 в ауд. G115 и в 14:40 - 16:00 в D504

Учебные ассистенты: Камилла Бахтиева (181), Наталия Бондаренко (182)

Полезные ссылки

Телеграм-чат курса

GitHub курса

Таблица с баллами

Боевой листок

Лекции

[10 сентября] Лекция 1: Метод максимального правдоподобия: точечные и интервальные оценки.

• видео
• Почитать: Ryan Martin, Maximum Likelihood
• Тех-конспект лекции

[17 сентября] Лекция 2: Тест отношения правдоподобия и тест Вальда.

• видео
• Почитать: Engle, LR, LM, W tests
• Тех-конспект лекции

[24 сентября] Лекция 3: Тест множителей Лагранжа и энтропия.

• видео
• Почитать: Visual Information
• Тех-конспект лекции

[1 октября] Лекция 4: EM-алгоритм.

• видео
• Почитать: Martin Haugh, EM algorithm
• Тех-конспект лекции

[8 октября] Лекция 5: EM-алгоритм и Bootstrap.

• видео
• Почитать: Tim Hesterberg, What teachers should know about bootstrap?, Jeremy Orloff Bootstrap CI
• конспект
• Тех-конспект лекции

[15 октября] Лекция 6: Регрессия и нормальное распределение.

• Почитать: Stahl, Evolution of the Normal distribution, Jaynes, Normal distribution (chapter from Probability: the logic of Science
• конспект
• печатный конспект, страницы 26-27
• Тех-конспект лекции

[22 октября] Лекция 7: Распределение хи-квадрат и F-распределение. F-тест.

• печатный конспект, страница 28 и 31
• Тех-конспект лекции

[29 октября] Лекция 8: Повтор про F-распределение, t-распределение.

• Конспект от руки

[5 ноября] Лекция 9: Гетероскедастичность и бутстрэп

• Почитать: MacKinnon Heteroscedasticity, бутстрэп на практике от vk
• Тех-конспект лекции

[13 ноября] Лекция 10: разбор задач из контрольной

• Видео лекции
• Конспект от руки
• Тех-конспект лекции

[20 ноября] Лекция 11: Гостевая лекция: метрики, MDE, бутстрэп.

• Презентация лектора-гостя
• Видео лекции
• Тех-конспект лекции

[27 ноября] Лекция 12: Байесовский подход

• Видео лекции
• Конспект от руки
• Тех-конспект лекции

[4 декабря] Лекция 13: Байесовский подход: продолжение

• Видео лекции
• Конспект от руки
• Тех-конспект лекции

[11 декабря] Лекция 14: Алгоритм Метрополиса-Гастингса

• Видео лекции
• Конспект от руки
• Одна версия тех-конспекта и вторая

[18 декабря] Лекция 15:

• Конспект от руки
• Тех-конспект лекции

Если что, все тех-конспекты и конспекты от руки, что указаны здесь, лежат в этой папке, поэтому если мы ошиблись со ссылками (а мы могли), то ищите нужный файл в ней

Семинары

Семинар 1: Метод максимального правдоподобия.

• Конспект
• Код
• Видео

Семинар 2: Тесты LR, LM и Wald.

• Конспект
• Видео

Семинар 3: Энтропия и дивергенция Кульбака-Лейблера.

• Конспект
• Видео
• Заметки (стр. 16) NB: Кульбак!

Семинар 4: EM-алгоритм.

• Кодспект
• Видео

Семинар 5: EM-алгоритм и Bootstrap.

• Конспект (EM)
• Кодспект (Bootstrap)
• Видео

Семинар 6: Геометрия МНК.

• Конспект
• Видео

Семинар 7: Распределения.

• Задачи
• Конспект
• Видео

Семинар 8: Тестирование гипотез в линейной регрессии.

• Задачи
• Конспект
• Код
• Видео

Семинар 9: Гетероскедастичность.

• Кодспект
• Видео

Семинар 10: Мультиколлинеарность. Отбор регрессоров.

• Кодспект
• Видео

Семинар 11: Эндогенность.

• Задачи
• Конспект
• Видео

Семинар 12: Множественное тестирование. Байесовские методы.

• Задачи
• Конспект (множественное тестирование)
• Кодспект (байесовские методы)
• Видео

Семинар 13: Байесовские методы.

• Задачи
• Конспект
• Видео

Семинар 14: Байесовские методы.

• Конспект
• Кодспект
• Видео

Домашние задания

Домашнее задание 1. Метод максимального правдоподобия.

Дедлайн: 11.10.2020, 23:59 МСК

[Условие]

Домашнее задание 2. EM-алгоритм. Линейная регрессия.

Дедлайн: 01.12.2020, 23:59 МСК

[Условие]

Домашнее задание 3. Тестирование гипотез. Байесовский подход.

Дедлайн: 17.12.2020, 23:59 МСК

[Условие]

Бонусное домашнее задание

Дедлайн: 17.12.2020, 23:59 МСК

[Условие]

Задания для подготовки

Квиз 2. Дивергенция Кульбака-Лейблера. EM-алгоритм.

[Условие]

Квиз 3. Проверка гипотез в линейной модели. Гетероскедастичность.

[Условие]

Квиз 4. Тестирование гипотез. Байесовский подход.

[Условие]

Консультации

Консультация 25.10.2020.

• Конспект
• Видео

Отчётность по курсу и критерии оценки

Домашние задания

Домашние задания загружаются в личный репозиторий в GitHub Classroom.

Правила оформления решений находятся на первой странице каждого домашнего задания.

Контрольная работа

Контрольная работа состоится онлайн 7-го ноября с 18:00 до 21:00. В контрольную работу войдут задачи по темам лекций и семинаров.

[Список тем и примеры задач]

[Задание]

Экзамен

Экзамен состоится онлайн 21 декабря с 13:00 до 16:00. По формату экзамен будет похож на контрольную работу. Вопрос об автоматах уточняется.

Написание пропущенных работ

19 декабря (время уточняется) можно будет:

1. Написать неограниченное число пропущенных по уважительной причине квизов или контрольную.
2. Написать один любой пропущенный по любой причине квиз.
3. Переписать один любой квиз со штрафом: максимум можно будет получить 8 баллов (выставляется минимум из количества набранных баллов и 8).

Итоговая оценка за курс

Итоговая оценка за курс рассчитывается по следующей формуле: Итог = 0.3 × ДЗ + 0.3 × КР + 0.2 × К + 0.2 × Э, где
ДЗ — усреднённая оценка за все домашние задания,
КР — оценка за контрольную работу,
Э — оценка за экзамен,
К — усреднённая оценка за все квизы на семинарах.
Округление арифметическое, округляется только итоговая оценка.