Прикладная статистика в машинном обучении 22/23

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

О курсе

Курс читается для студентов 3-го курса в 1-2 модулях.

Лектор: Борис Демешев

Лекции проходят в Пт, 9:30-10:50, R305.

Семинаристы: Антон Золотарёв, Дарья Демидова, Максим Каледин

Учебные ассистенты: Рустэм Хутиев, Валерия Кондратьева, Никита Горевой,

Семинары

(!) Сверяйтесь с вашим актуальным расписанием, возможны изменения.

Группа Семинарист Учебный ассистент Время занятий Аудитория/ссылка Способ связи
БПМИ201 МОП Антон Золотарёв Рустэм Хутиев Сб, 9:30-10:50 D504 ТГ-чат
БПМИ202 МОП Максим Каледин Валерия Кондратьева Вт, 16:20–17:40 D504 ТГ-чат
БПМИ203 МОП Дарья Демидова Никита Горевой Вт, 16:20–17:40 D502 ТГ-чат

Полезные ссылки

Заметочки

Спасибо Нине за конспекты в notion :)

Лекции

[2 сентября] Лекция 1: Энтропия и дивергенция Кульбака-Лейблера.

[9 сентября] Лекция 2: Дифференциальная энтропия, распределения с максимальной энтропией, критерий Келли.

[16 сентября] Лекция 3: Связь функции правдоподобия и кросс-энтропии, информация Фишера.

[23 сентября] Лекция 4: Неравенство Крамера—Рао, асимптотическая нормальность ММП-оценок, тест Вальда.

[30 сентября] Лекция 5: Тесты LR, LM, W.

[7 октября] Лекция 6: EM-алгоритм: общее описание, подход, примеры.

[14 октября] Лекция 7: EM-алгоритм: формулировка в max-max виде.

[21 октября] Лекция 8: Поправки на множественные сравнения

Астрологи объявили сессию...

[11 ноября] Лекция 9: Бутстреп: наивный и t-статистичный

[25 ноября] Лекция 10: Бустреп посложнее, квантильная и обычная регрессия


[2 декабря] Лекция 11: Стат вывод в регрессии, робастные стандартные ошибки, древний способ быстрой кросс-валидации

[9 декабря] Лекция 12: Парадокс Джеймса-Стейна, L2-регуляризация как добавление вымышленных наблюдений

[16 декабря] Лекция 13: Байесовский вывод в линейной регрессии, оценки maximum a posteriori (MAP)

Домашние задания

ДЗ-1

Теоретическая часть, дедлайн 13 ноября 2022, 21:00. https://github.com/bdemeshev/psmo_2022-23/tree/main/ha_01a

Практическая часть, дедлайн 20 ноября 2022, 21:00. https://github.com/bdemeshev/psmo_2022-23/tree/main/ha_01b

Обратите внимание, ежи за здоровый крепкий сон, поэтому дедлайны стоят до 21:00.

Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса.

ДЗ-2

Компьютерно-теоретическое ДЗ. https://github.com/bdemeshev/psmo_2022-23/raw/main/ha_02/psmo-ha_02.pdf

Дедлайн 4 декабря 2022, 23:59 (!!...здоровый сон на ваше усмотрение).

UPD: не успели bca-бутстрэп на лекции, поэтому этот пункт не обязательный.

Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса.

ДЗ-3

Компьютерно-теоретическое ДЗ. https://github.com/bdemeshev/psmo_2022-23/raw/main/ha_03/psmo-ha_03.pdf

Дедлайн 18 декабря 2022, 23:59

Сдача решений производится здесь: https://anytask.org/course/985 , инвайты можно найти в ТГ-канале курса.

Квизы

Квизы выдаются в начале семинара строго на 10-15 минут.

В первом столбце таблицы указан номер семинара, на котором пройдёт квиз, а во втором – дата лекции, после которой на соответствующих семинарах пройдут квизы.

На семинаре № После лекции Тема
3 3 Теория информации
6 6 Тесты LR,LM,W
9 8 ЕМ-алгоритм
10 10 Бутстреп

Оценка за квизы формируется как среднее по всем квизам.

Контрольная работа

Контрольная работа является письменной формой контроля. В контрольную работу войдут задачи по темам до Лекции 8 включительно.

Контрольная будет 18 ноября (пт) в 09:30(МСК), вместо лекции и географически в том же месте. Можно использовать шпаргалку А4 любого содержания.

[Задачи для подготовки прошлых лет]

[Задания контрольной прошлых лет]

Экзамен

Экзамен является устной формой контроля. В экзамен войдут теория и задачи по темам лекций и семинаров всего курса.

Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.

TBA

Отчётность по курсу и критерии оценки

Итоговая оценка за курс

Итоговая оценка за курс рассчитывается по следующей формуле:

Итог = 0.7 * Накоп + 0.3 * Экз.

В этой формуле

Накоп = 0.2 * Квиз + 0.4 * avg(ДЗ1,ДЗ2,ДЗ3) + 0.4 * КР,

где

  • Квиз – средняя оценка за все квизы.
  • ДЗ1, ДЗ2, ДЗ3 – оценки за ДЗ1,ДЗ2 и ДЗ3 соответственно; avg -- среднее
  • КР – оценка за контрольную работу.

Экз =

  • Накопленная оценка, если она меньше или равна 7.
  • 7, если Накопленная оценка больше 7.
  • Оценка за устный экзамен, если прийти и сдать его.

Округление арифметическое, округляется только итоговая оценка.

Литература

  • Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences – базовый курс с большим количеством картинок и подробных текстовых объяснений. Прекрасно подходит для быстрого повторения интуиции и основной методологии.
  • Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference – хороший курс магистерского уровня, охватывающий большое количество тем из теории вероятностей и статистики. Основной фокус делается на прикладных применениях и методологии, поэтому книга содержит ровно столько математики, сколько необходимо для понимания практических аспектов. Тем не менее, качество изложенного материала на высоте: все математические утверждения доказываются и сопровождаются подробной интуицией.
  • David Williams. Weighing the Odds. A Course in Probability and Statistics – суровая книжка для самых смелых. Содержит все основные темы по теории вероятностей и статистике в рамках программы для технических специальностей. Сквозная идея книги – показать связь теории вероятностей и статистики с другими разделами математики, поэтому для каждого утверждения приводятся строгие и очень подробные доказательства. Сильно расширяет общематематический кругозор, содержит много нетривиальных утверждений.
Источник — «http://wiki.cs.hse.ru/index.php?title=Прикладная_статистика_в_машинном_обучении_22/23&oldid=76488»