Psmo 21 22 — различия между версиями
(не показано 17 промежуточных версии 2 участников) | |||
Строка 76: | Строка 76: | ||
*[https://v-marco.github.io/psmo_book/content/em/lecture.html Записи по EM] | *[https://v-marco.github.io/psmo_book/content/em/lecture.html Записи по EM] | ||
*[http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Дополнительные материалы по EM] | *[http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Дополнительные материалы по EM] | ||
+ | |||
[8 октября] '''Лекция 6:''' EM + bootstrap | [8 октября] '''Лекция 6:''' EM + bootstrap | ||
Строка 81: | Строка 82: | ||
*[https://www.youtube.com/watch?v=JEW6HtEXhnE&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=12 Видео на ютубе] | *[https://www.youtube.com/watch?v=JEW6HtEXhnE&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=12 Видео на ютубе] | ||
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_06.pdf Конспект] | *[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_06.pdf Конспект] | ||
+ | |||
+ | |||
+ | [15 октября] '''Лекция 7:''' Boot + regression | ||
+ | |||
+ | *[https://www.youtube.com/watch?v=gm9jKYlIL2k&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=13 Видео на ютубе] | ||
+ | *[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_07.pdf Конспект] | ||
+ | |||
+ | |||
+ | [29 октября] '''Лекция 8:''' CI regression | ||
+ | |||
+ | *[https://youtu.be/hazFTc5zuDM Видео на ютубе] | ||
+ | *[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_08.pdf Конспект] | ||
+ | |||
=== Семинары === | === Семинары === | ||
'''Семинар 1:''' Гипотезы и доверительные интервалы. | '''Семинар 1:''' Гипотезы и доверительные интервалы. | ||
Строка 98: | Строка 112: | ||
'''Семинар 6:''' EM-алгоритм. Бутстрэп | '''Семинар 6:''' EM-алгоритм. Бутстрэп | ||
− | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_Sem5.pdf Конспект (с прошлого года)]], [[https://youtu.be/eUY0_Ct1Vnk Видео (с прошлого года)]] | + | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_Sem5.pdf Конспект (с прошлого года)]], [[https://youtu.be/eUY0_Ct1Vnk Видео (с прошлого года)]], [[https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_sem5.ipynb Кодспект (с прошлого года)]] |
+ | |||
+ | '''Семинар 7:''' Линейная регрессия. МНК. ТГМ | ||
+ | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_7/psmo_2021_sem_07.pdf Конспект]], [[https://youtu.be/ep7WRJdj4RA Видео]] | ||
+ | |||
+ | '''Семинар 8:''' Тестирование гипотез в линейной регрессии | ||
+ | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_8/psmo_2021_sem_08.pdf Конспект]], [[https://youtu.be/JP3FkN2x9zM Видео]] | ||
+ | |||
+ | '''Семинар 9:''' Прогнозирование. Геометрия распределений в линейной регрессии | ||
+ | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_9/psmo_2021_sem_09.pdf Конспект]], [[https://youtu.be/2QswszZ62aY Видео]] | ||
+ | |||
+ | '''Семинар 10:''' Гетероскедастичность | ||
+ | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_10/psmo_2021_sem_10.pdf Конспект]], [[https://youtu.be/twC7WEhdHqQ Видео]] | ||
+ | |||
+ | '''Семинар 11:''' Эндогенность | ||
+ | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_11/psmo_2021_sem_11.pdf Конспект]], [[https://youtu.be/_nBBR2o2-zU Видео]] | ||
+ | |||
+ | '''Семинар 12:''' Мультиколлинеарность. Логистическая регрессия | ||
+ | * Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_12/psmo_2021_sem_12.pdf Конспект]], [[https://www.youtube.com/watch?v=9cvwixVEiic Видео]] | ||
=== Домашние задания === | === Домашние задания === | ||
Строка 116: | Строка 148: | ||
'''Дата выдачи:''' 8 сентября | '''Дата выдачи:''' 8 сентября | ||
− | '''Дедлайн:''' | + | '''Дедлайн:''' 19 ноября 23:59 |
[[https://github.com/V-Marco/psmo_21_22/tree/main/hw/hw1 Условие]] | [[https://github.com/V-Marco/psmo_21_22/tree/main/hw/hw1 Условие]] | ||
Строка 125: | Строка 157: | ||
'''Темы:''' | '''Темы:''' | ||
+ | * Линейная регрессия. | ||
* Мультиколлинеарность. Отбор регрессоров. | * Мультиколлинеарность. Отбор регрессоров. | ||
* Гетероскедастичность. Эндогенность. | * Гетероскедастичность. Эндогенность. | ||
− | |||
− | |||
− | '''Дата выдачи:''' | + | '''Дата выдачи:''' 2 декабря |
− | '''Дедлайн:''' | + | '''Дедлайн:''' 14 декабря 23:59 |
− | [Условие] | + | [https://github.com/V-Marco/psmo_21_22/blob/main/hw/hw2/psmo_hw2.ipynb Условие] |
− | [Ссылка на задание в Classroom] | + | [https://classroom.github.com/a/HTd0GCXS Ссылка на задание в Classroom] |
=== Квизы === | === Квизы === | ||
Строка 154: | Строка 185: | ||
| 6 || 8 октября || EM-алгоритм || [https://v-marco.github.io/psmo_book/content/em/quiz.html Ссылка] | | 6 || 8 октября || EM-алгоритм || [https://v-marco.github.io/psmo_book/content/em/quiz.html Ссылка] | ||
|- | |- | ||
− | | 7 || 15 октября || ТГМ и МНК || | + | | 7 || 15 октября || ТГМ и МНК || отменён |
|- | |- | ||
− | | 8 || 29 октября || Тестирование гипотез в линейной регрессии || | + | | 8 || 29 октября || Тестирование гипотез в линейной регрессии || отменён |
|- | |- | ||
− | | 9 || 5 ноября || Корректировка гетероскедастичности || | + | | 9 || 5 ноября || Корректировка гетероскедастичности || отменён |
|- | |- | ||
− | | 11 || 19 ноября || Логистическая регрессия || | + | | 11 || 19 ноября || Логистическая регрессия || отменён |
|} | |} | ||
+ | |||
+ | Все квизы, начиная с четвёртого включительно, отменяются. Оценка за квизы формируется следующим образом: | ||
+ | |||
+ | Квиз = 0.5 * (Средняя за Квизы 1, 2 и 3) + 0.5 * Весёлая активность. | ||
+ | |||
+ | Информация о проведении Весёлой активности выложена в канале в Телеграме. | ||
===Контрольная работа=== | ===Контрольная работа=== | ||
Строка 186: | Строка 223: | ||
Подробный состав тем и процедура проведения будут объявлены в начале второго модуля. | Подробный состав тем и процедура проведения будут объявлены в начале второго модуля. | ||
+ | |||
+ | [[https://github.com/V-Marco/psmo_21_22/blob/main/exam/exam_quest.pdf Вопросы к экзамену]] | ||
==Отчётность по курсу и критерии оценки== | ==Отчётность по курсу и критерии оценки== |
Текущая версия на 14:49, 13 декабря 2021
Содержание
О курсе
Курс читается для студентов 3-го курса в 1-2 модулях.
Лектор: Демешев Борис Борисович
Лекции проходят по пятницам (09:30 - 10:50) онлайн.
Семинаристы: Владимир Омелюсик и Ксения Касьянова
Учебные ассистенты: Анастасия Алтунина и Александр Плахин
Семинары
Группа | Семинарист | Учебный ассистент | Время занятий | Аудитория/ссылка |
---|---|---|---|---|
БПМИ191 МОП | Владимир Омелюсик | Анастасия Алтунина | Пт, 13:00–14:20 | D509 |
БПМИ192 МОП | Владимир Омелюсик | Анастасия Алтунина | Вт, 13:00–14:20 | R206 |
БПМИ193 МОП | Владимир Омелюсик | Александр Плахин | Вт, 14:40 - 16:00 | R304 |
по выбору | Ксения Касьянова | Александр Плахин | Вт, 18:10–19:30 | D502 |
Полезные ссылки
Боевой листок
Лекции
[3 сентября] Лекция 1: Энтропия и дивергенция Кульбака-Лейблера. AIC.
[10 сентября] Лекция 2: Метод максимального правдоподобия
[17 сентября] Лекция 3: maximum likelihood
[24 сентября] Лекция 4: LR, LM, W
[1 октября] Лекция 5: EM
[8 октября] Лекция 6: EM + bootstrap
[15 октября] Лекция 7: Boot + regression
[29 октября] Лекция 8: CI regression
Семинары
Семинар 1: Гипотезы и доверительные интервалы.
Семинар 2: Энтропия и KL-дивергенция. Метод максимального правдоподобия.
- Группы 191, 192, 193: [Конспект], [Видео], [Ответы на вопросы], [Бесконечная энтропия]
Семинар 3: Метод максимального правдоподобия. Информация Фишера.
Семинар 4: Тесты LR, LM, W
Семинар 5: EM-алгоритм
- Группы 191, 192, 193: [Конспект], [Видео (теория)], [Видео (код)]
Семинар 6: EM-алгоритм. Бутстрэп
- Группы 191, 192, 193: [Конспект (с прошлого года)], [Видео (с прошлого года)], [Кодспект (с прошлого года)]
Семинар 7: Линейная регрессия. МНК. ТГМ
Семинар 8: Тестирование гипотез в линейной регрессии
Семинар 9: Прогнозирование. Геометрия распределений в линейной регрессии
Семинар 10: Гетероскедастичность
Семинар 11: Эндогенность
Семинар 12: Мультиколлинеарность. Логистическая регрессия
Домашние задания
Домашние задания загружаются в личный репозиторий в GitHub Classroom.
Правила оформления решений находятся на первой странице каждого домашнего задания.
Домашнее задание 1.
Темы:
- Метод максимального правдоподобия. Тесты LR, LM, W.
- Энтропия и дивергенция Кульбака-Лейблера. EM-алгоритм.
- Бутстрэп.
- МНК. Тестирование гипотез в линейной регресии.
Дата выдачи: 8 сентября
Дедлайн: 19 ноября 23:59
[Условие]
[Ссылка на задание в Classroom]
Домашнее задание 2.
Темы:
- Линейная регрессия.
- Мультиколлинеарность. Отбор регрессоров.
- Гетероскедастичность. Эндогенность.
Дата выдачи: 2 декабря
Дедлайн: 14 декабря 23:59
Квизы
Квизы выдаются в начале семинара строго на 10-15 минут. Каждый квиз содержит случайную задачу из задач для подготовки с изменёнными числовыми данными.
В первом столбце таблицы указан номер семинара, на котором пройдёт квиз, а во втором – дата лекции, после которой на соответствующих семинарах пройдут квизы.
На семинаре № | После лекции | Тема | Задачи |
---|---|---|---|
3 | 17 сентября | Энтропия и дивергенция Кульбака-Лейблера | Ссылка |
5 | 1 октября | Тесты LR, LM, W | Ссылка |
6 | 8 октября | EM-алгоритм | Ссылка |
7 | 15 октября | ТГМ и МНК | отменён |
8 | 29 октября | Тестирование гипотез в линейной регрессии | отменён |
9 | 5 ноября | Корректировка гетероскедастичности | отменён |
11 | 19 ноября | Логистическая регрессия | отменён |
Все квизы, начиная с четвёртого включительно, отменяются. Оценка за квизы формируется следующим образом:
Квиз = 0.5 * (Средняя за Квизы 1, 2 и 3) + 0.5 * Весёлая активность.
Информация о проведении Весёлой активности выложена в канале в Телеграме.
Контрольная работа
Контрольная работа является письменной формой контроля и состоится 19 октября в 13:00. В контрольную работу войдут задачи по темам лекций и семинаров первого модуля:
- Метод максимального правдоподобия
- Тесты LR, LM, W
- Энтропия и KL-дивергенция
- EM-алгоритм
- Бутстрэп
[Задачи для подготовки прошлого года]
[Задания контрольной прошлого года]
Экзамен
Экзамен является устной формой контроля. В экзамен войдут теория и задачи по темам лекций и семинаров всего курса.
Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.
Отчётность по курсу и критерии оценки
Итоговая оценка за курс
Итоговая оценка за курс рассчитывается по следующей формуле:
Итог = 0.6 * Накоп + 0.4 * Экз.
В этой формуле
Накоп = 0.2 * Квиз + 0.2 * (ДЗ1 + ДЗ2) + 0.4 * КР,
где
- Квиз – средняя оценка за все квизы.
- ДЗ1 и ДЗ2 – оценки за ДЗ1 и ДЗ2 соответственно.
- КР – оценка за контрольную работу.
Экз =
- Накопленная оценка, если она меньше или равна 7.
- 7, если Накопленная оценка больше 7.
- Оценка за устный экзамен, если прийти и сдать его.
Округление арифметическое, округляется только итоговая оценка.
Литература
- Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences – базовый курс с большим количеством картинок и подробных текстовых объяснений. Прекрасно подходит для быстрого повторения интуиции и основной методологии.
- Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference – хороший курс магистерского уровня, охватывающий большое количество тем из теории вероятностей и статистики. Основной фокус делается на прикладных применениях и методологии, поэтому книга содержит ровно столько математики, сколько необходимо для понимания практических аспектов. Тем не менее, качество изложенного материала на высоте: все математические утверждения доказываются и сопровождаются подробной интуицией.
- David Williams. Weighing the Odds. A Course in Probability and Statistics – суровая книжка для самых смелых. Содержит все основные темы по теории вероятностей и статистике в рамках программы для технических специальностей. Сквозная идея книги – показать связь теории вероятностей и статистики с другими разделами математики, поэтому для каждого утверждения приводятся строгие и очень подробные доказательства. Сильно расширяет общематематический кругозор, содержит много нетривиальных утверждений.