Прикладная статистика в машинном обучении 23/24
Содержание
О курсе
Курс читается для студентов 3-го курса в 1-2 модулях.
Лектор: Максим Каледин
Лекции проходят в пятницу, 9:30 – 10:50, R405.
Семинаристы: Антон Золотарёв, Дарья Демидова, Яна Хассан
Учебные ассистенты: Кирилл Королёв Артём Беляев, Валерия Кондратьева, Никита Горевой,
Семинары
(!) Сверяйтесь с вашим актуальным расписанием, возможны изменения.
| Группа | Семинарист | Учебный ассистент | Время занятий | Аудитория/ссылка | Способ связи |
|---|---|---|---|---|---|
| БПМИ211 МОП | Антон Золотарёв | Артём Беляев | Пт, 18:10 – 9:30 | N508 | ТГ-чат |
| БПМИ212 МОП | Дарья Демидова | Кирилл Королев | Пт, 14:40 – 16:00 | D507 | ТГ-чат |
| БПМИ213 МОП | Яна Хассан | Валерия Кондратьева | 14:40 – 16:00 | TBD | ТГ-чат |
| По выбору/онлайн | Антон Золотарёв | Никита Горевой | Пт, 18:10 – 9:30 | N508 | ТГ-чат |
Полезные ссылки
Лекции
[8 сентября] Лекция 1: Метод максимального правдоподобия, свойства ММП-оценок, модель клиента магазина.
[15 сентября] Лекция 2: Теория информации, энтропия, KL-дивергенция.
[22 сентября] Лекция 3: Продолжение ММП, скрытые переменные, ЕМ-алгоритм.
[29 сентября] Лекция 4: Продолжение ЕМ-алгоритма, оценка фильтров, фильтр Калмана.
[6 октября] Лекция 5: Доверительные интервалы, проверка гипотез.
[13 октября] Лекция 6: Линейная регрессия, теорема Гаусса-Маркова.
[20 октября] Лекция 7: Линейная регрессия, предположения.
[10 ноября] Лекция 8: Линейная регрессия, нарушение предпосылок.
[17 ноября] Лекция 9: Квантильная регрессия.
[24 ноября] Лекция 10: Ранговые критерии.
[1 декабря] Лекция 11: АБ-тесты.
[8 декабря] Лекция 12: Расширение классической статистики.
Семинары
Семинар 1: Метод максимального правдоподобия.
Семинар 2: Теория информации, энтропия.
Семинар 3: KL-дивергенция, EM-алгоритм.
Семинар 4: EM-алгоритм, продолжение.
Семинар 5: Доверительные интервалы, проверка гипотез.
Семинар 6: Линейная регрессия, МНК, F-тест.
Семинар 7: Теорема Гаусса-Маркова, нарушение ее предпосылок, свойства МНК-оценок.
Домашние задания
Домашние задания представляют из себя python-ноутбук, где потребуется решить несколько теоретических задач, а также несколько задач с помощью программного кода.
Как сдавать ДЗ: Anytask TBD.
ДЗ-1
ДЗ-1 состоит из трех частей. Дедлайн по всему ДЗ 08 октября 2023 23:59.
ДЗ-2
ДЗ-2 состоит из двух частей. Дедлайн по всему ДЗ 19 ноября 2023 23:59.
ДЗ-3
Больше подробностей на девятой неделе
Квизы
Квизы — небольшие самостоятельные работы, проводятся периодически (раз в две-три недели) на семинаре. Выдаются в начале семинара на 10-15 минут. Оценка за квизы формируется как среднее по всем квизам.
Контрольная работа
Контрольная работа является письменной формой контроля. В контрольную работу войдут задачи по темам примерно до Лекции 8. После недели 8 планируется неделя консультаций, затем неделя контрольной работы (на лекции) и потом продолжение лекций. Возможны изменения, связанные с расписанием и праздниками.
Экзамен
Экзамен является устной формой контроля. В экзамен войдут теория и задачи по темам лекций и семинаров всего курса.
Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.
TBD
Отчётность по курсу и критерии оценки
Итоговая оценка за курс
Итоговая оценка за курс рассчитывается по следующей формуле:
Итог = 0.7 * Накоп + 0.3 * максимум(Экз, минимум(7, Накоп)).
В этой формуле
0.7 * Накоп = 0.1 * Квиз + 0.3 * среднее(ДЗ1,ДЗ2,ДЗ3) + 0.3 * КР,
где
- Квиз – средняя оценка за все квизы.
- ДЗ1, ДЗ2, ДЗ3 – оценки за ДЗ1,ДЗ2 и ДЗ3 соответственно; avg -- среднее
- КР – оценка за контрольную работу .
Литература
Горяинова Е.Р., Панков А.Р., Платонов Е.Н. Прикладные методы анализа статистических данных – М.: Издательский дом Высшей школы экономики, 2012. (Очень много про непараметрические критерии со ссылками и деталями)
Wasserman L. All of Statistics: A Concise Course in Statistical Inference, Springer Science & Business Media, 2013 (в общем про "большую" статистику)
Чжун К.Л., АитСахлиа Ф. Элементарный курс теории вероятностей. Стохастические процессы и финансовая математика – М.: БИНОМ. Лаборатория знаний, 2014. (если интересно много простых примеров сложных понятий)
Лагутин М.Б. Наглядная математическая статистика – М.: БИНОМ Лаборатория знаний, 2015. (МНОГО МАТСТАТА, но наглядно)
Прочее
- Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences – базовый курс с большим количеством картинок и подробных текстовых объяснений. Прекрасно подходит для быстрого повторения интуиции и основной методологии.
- David Williams. Weighing the Odds. A Course in Probability and Statistics – суровая книжка для самых смелых. Содержит все основные темы по теории вероятностей и статистике в рамках программы для технических специальностей. Сквозная идея книги – показать связь теории вероятностей и статистики с другими разделами математики, поэтому для каждого утверждения приводятся строгие и очень подробные доказательства. Сильно расширяет общематематический кругозор, содержит много нетривиальных утверждений.
