Прикладная статистика в машинном обучении 23/24

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

О курсе

Курс читается для студентов 3-го курса в 1-2 модулях.

Лектор: Максим Каледин

Лекции проходят в пятницу, 9:30 – 10:50, R405.

Семинаристы: Антон Золотарёв, Дарья Демидова, Яна Хассан

Учебные ассистенты: Кирилл Королёв Артём Беляев, Валерия Кондратьева, Никита Горевой,

Семинары

(!) Сверяйтесь с вашим актуальным расписанием, возможны изменения.

Группа Семинарист Учебный ассистент Время занятий Аудитория/ссылка Способ связи
БПМИ211 МОП Антон Золотарёв Артём Беляев Пт, 18:10 – 9:30 N508 [ ТГ-чат]
БПМИ212 МОП Дарья Демидова Кирилл Королев Пт, 14:40 – 16:00 D507 [ТГ-чат]
БПМИ213 МОП Яна Хассан Валерия Кондратьева 14:40 – 16:00 TBD [ ТГ-чат]
По выбору/онлайн Антон Золотарёв Никита Горевой Пт, 18:10 – 9:30 N508 [ ТГ-чат]

Полезные ссылки

Канал в Телеграме (для важных объявлений)

Общий чат в Телеграме для обсуждений/вопросов

Лекции

[8 сентября] Лекция 1: Метод максимального правдоподобия, свойства ММП-оценок, модель клиента магазина.

[15 сентября] Лекция 2: Теория информации, энтропия, KL-дивергенция.

[22 сентября] Лекция 3: Продолжение ММП, скрытые переменные, ЕМ-алгоритм.

[29 сентября] Лекция 4: Продолжение ЕМ-алгоритма, оценка фильтров, фильтр Калмана.

[6 октября] Лекция 5: Доверительные интервалы, проверка гипотез.

[13 октября] Лекция 6: Линейная регрессия, теорема Гаусса-Маркова.

[20 октября] Лекция 7: Линейная регрессия, предположения.

[10 ноября] Лекция 8: Линейная регрессия, нарушение предпосылок.

[17 ноября] Лекция 9: Квантильная регрессия.

[24 ноября] Лекция 10: Ранговые критерии.

[1 декабря] Лекция 11: АБ-тесты.

[8 декабря] Лекция 12: Расширение классической статистики.

[15 декабря] Лекция 13: Множественное тестирование.

Семинары

Семинар 1: Метод максимального правдоподобия.

Семинар 2: Теория информации, энтропия.

Семинар 3: KL-дивергенция, EM-алгоритм.

Семинар 4: EM-алгоритм, продолжение.

Семинар 5: Доверительные интервалы, проверка гипотез.

Семинар 6: Линейная регрессия, МНК, F-тест.

Семинар 7: Теорема Гаусса-Маркова, нарушение ее предпосылок, свойства МНК-оценок.

Семинар 8: Эндогенность в регрессии и проверка предположений Гаусса-Маркова.

Семинар 9: Квантильная регрессия.

Семинар 10: Ранговые критерии.

Семинар 11: A-B тестирование.

Семинар 12: Бутстрэп.

Семинар 13: Множественная проверка гипотез.

Домашние задания

Домашние задания представляют из себя python-ноутбук, где потребуется решить несколько теоретических задач, а также несколько задач с помощью программного кода.

Как сдавать ДЗ: Anytask TBD.

ДЗ-1

ДЗ-1 состоит из трех частей. Дедлайн по всему ДЗ 08 октября 2023 23:59.

ДЗ-2

ДЗ-2 состоит из двух частей. Дедлайн по всему ДЗ 19 ноября 2023 23:59.

ДЗ-3

ДЗ-3 состоит из одной части. Дедлайн по всему ДЗ 19 декабря 2023 23:59.

Квизы

Квизы — небольшие самостоятельные работы, проводятся периодически (раз в две-три недели) на семинаре. Выдаются в начале семинара на 10-15 минут. Оценка за квизы формируется как среднее по всем квизам.

Контрольная работа

Контрольная работа является письменной формой контроля. В контрольную работу войдут задачи по темам примерно до Лекции 8. После недели 8 планируется неделя консультаций, затем неделя контрольной работы (на лекции) и потом продолжение лекций. Возможны изменения, связанные с расписанием и праздниками.

Экзамен

Экзамен является устной формой контроля. В экзамен войдут теория и задачи по темам лекций и семинаров всего курса.

Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.

TBD

Отчётность по курсу и критерии оценки

Итоговая оценка за курс

Итоговая оценка за курс рассчитывается по следующей формуле:

Итог = 0.7 * Накоп + 0.3 * максимум(Экз, минимум(7, Накоп)).

В этой формуле

0.7 * Накоп = 0.1 * Квиз + 0.3 * среднее(ДЗ1,ДЗ2,ДЗ3) + 0.3 * КР,

где

  • Квиз – средняя оценка за все квизы.
  • ДЗ1, ДЗ2, ДЗ3 – оценки за ДЗ1,ДЗ2 и ДЗ3 соответственно; avg -- среднее
  • КР – оценка за контрольную работу .

Литература

Горяинова Е.Р., Панков А.Р., Платонов Е.Н. Прикладные методы анализа статистических данных – М.: Издательский дом Высшей школы экономики, 2012. (Очень много про непараметрические критерии со ссылками и деталями)

Wasserman L. All of Statistics: A Concise Course in Statistical Inference, Springer Science & Business Media, 2013 (в общем про "большую" статистику)

Чжун К.Л., АитСахлиа Ф. Элементарный курс теории вероятностей. Стохастические процессы и финансовая математика – М.: БИНОМ. Лаборатория знаний, 2014. (если интересно много простых примеров сложных понятий)

Лагутин М.Б. Наглядная математическая статистика – М.: БИНОМ Лаборатория знаний, 2015. (МНОГО МАТСТАТА, но наглядно)


Прочее

  • Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences – базовый курс с большим количеством картинок и подробных текстовых объяснений. Прекрасно подходит для быстрого повторения интуиции и основной методологии.
  • David Williams. Weighing the Odds. A Course in Probability and Statistics – суровая книжка для самых смелых. Содержит все основные темы по теории вероятностей и статистике в рамках программы для технических специальностей. Сквозная идея книги – показать связь теории вероятностей и статистики с другими разделами математики, поэтому для каждого утверждения приводятся строгие и очень подробные доказательства. Сильно расширяет общематематический кругозор, содержит много нетривиальных утверждений.
Источник — «http://wiki.cs.hse.ru/index.php?title=Прикладная_статистика_в_машинном_обучении_23/24&oldid=84978»