Psmo 21 22 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показана одна промежуточная версия 2 участников)
Строка 63: Строка 63:
 
*[https://www.youtube.com/watch?v=BKwxk7pFMiY&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=3 Видео на ютубе]
 
*[https://www.youtube.com/watch?v=BKwxk7pFMiY&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=3 Видео на ютубе]
 
*[https://github.com/bdemeshev/maxlik_regularity/blob/main/maxlik_regularity.pdf Условия регулярности правдоподобия]
 
*[https://github.com/bdemeshev/maxlik_regularity/blob/main/maxlik_regularity.pdf Условия регулярности правдоподобия]
 +
*[https://rpsychologist.com/likelihood/ Визуализация maxlik]
 +
  
 
[24 сентября] '''Лекция 4:''' LR, LM, W
 
[24 сентября] '''Лекция 4:''' LR, LM, W
Строка 68: Строка 70:
 
*[https://www.youtube.com/watch?v=8yjXVZE93HY&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=8 Видео на ютубе]
 
*[https://www.youtube.com/watch?v=8yjXVZE93HY&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=8 Видео на ютубе]
  
 +
 +
[1 октября] '''Лекция 5:''' EM
 +
 +
*[https://www.youtube.com/watch?v=JBFT2JeQ2gA Видео на ютубе]
 +
*[https://v-marco.github.io/psmo_book/content/em/lecture.html Записи по EM]
 +
*[http://www.columbia.edu/~mh2078/MachineLearningORFE/EM_Algorithm.pdf Дополнительные материалы по EM]
 +
 +
 +
[8 октября] '''Лекция 6:''' EM + bootstrap
 +
 +
*[https://www.youtube.com/watch?v=JEW6HtEXhnE&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=12 Видео на ютубе]
 +
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_06.pdf  Конспект]
 +
 +
 +
[15 октября] '''Лекция 7:''' Boot + regression
 +
 +
*[https://www.youtube.com/watch?v=gm9jKYlIL2k&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=13 Видео на ютубе]
 +
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_07.pdf Конспект]
 +
 +
 +
[29 октября] '''Лекция 8:''' CI regression
 +
 +
*[https://youtu.be/hazFTc5zuDM Видео на ютубе]
 +
*[https://github.com/V-Marco/psmo_21_22/blob/main/lectures/psmo_2021_lec_08.pdf Конспект]
  
 
=== Семинары ===  
 
=== Семинары ===  
Строка 77: Строка 103:
  
 
'''Семинар 3:''' Метод максимального правдоподобия. Информация Фишера.
 
'''Семинар 3:''' Метод максимального правдоподобия. Информация Фишера.
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_3/psmo_2021_sem_03.pdf Конспект]], [[https://www.youtube.com/watch?v=ExA6h2sbF-Y&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=4 Видео]], [Ответы на вопросы]
+
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_3/psmo_2021_sem_03.pdf Конспект]], [[https://www.youtube.com/watch?v=ExA6h2sbF-Y&list=PLEwK9wdS5g0quaKouRQKl7afKTJNRvEHo&index=4 Видео]]
 +
 
 +
'''Семинар 4:''' Тесты LR, LM, W
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_4/psmo_2021_sem_04.pdf Конспект]], [[https://youtu.be/_JMmKVzTUsw Видео]]
 +
 
 +
'''Семинар 5:''' EM-алгоритм
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_5/psmo_2021_sem_05.pdf Конспект]], [[https://youtu.be/r-q9Hd642Ug Видео (теория)]], [[https://youtu.be/-xsuZ4ejB98 Видео (код)]]
 +
 
 +
'''Семинар 6:''' EM-алгоритм. Бутстрэп
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_Sem5.pdf Конспект (с прошлого года)]], [[https://youtu.be/eUY0_Ct1Vnk Видео (с прошлого года)]], [[https://github.com/V-Marco/psmo_20_21/blob/master/seminars/sem5/PSMO_sem5.ipynb Кодспект (с прошлого года)]]
 +
 
 +
'''Семинар 7:''' Линейная регрессия. МНК. ТГМ
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_7/psmo_2021_sem_07.pdf Конспект]], [[https://youtu.be/ep7WRJdj4RA Видео]]
 +
 
 +
'''Семинар 8:''' Тестирование гипотез в линейной регрессии
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_8/psmo_2021_sem_08.pdf Конспект]], [[https://youtu.be/JP3FkN2x9zM Видео]]
 +
 
 +
'''Семинар 9:''' Прогнозирование. Геометрия распределений в линейной регрессии
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_9/psmo_2021_sem_09.pdf Конспект]], [[https://youtu.be/2QswszZ62aY Видео]]
 +
 
 +
'''Семинар 10:''' Гетероскедастичность
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_10/psmo_2021_sem_10.pdf Конспект]], [[https://youtu.be/twC7WEhdHqQ Видео]]
 +
 
 +
'''Семинар 11:''' Эндогенность
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_11/psmo_2021_sem_11.pdf Конспект]], [[https://youtu.be/_nBBR2o2-zU Видео]]
 +
 
 +
'''Семинар 12:''' Мультиколлинеарность. Логистическая регрессия
 +
* Группы 191, 192, 193: [[https://github.com/V-Marco/psmo_21_22/blob/main/seminars/191_192_193/seminar_12/psmo_2021_sem_12.pdf Конспект]], [[https://www.youtube.com/watch?v=9cvwixVEiic Видео]]
  
 
=== Домашние задания ===
 
=== Домашние задания ===
Строка 95: Строка 148:
 
'''Дата выдачи:''' 8 сентября
 
'''Дата выдачи:''' 8 сентября
  
'''Дедлайн:''' 29 октября 23:59
+
'''Дедлайн:''' 19 ноября 23:59
  
 
[[https://github.com/V-Marco/psmo_21_22/tree/main/hw/hw1 Условие]]
 
[[https://github.com/V-Marco/psmo_21_22/tree/main/hw/hw1 Условие]]
Строка 104: Строка 157:
  
 
'''Темы:'''  
 
'''Темы:'''  
 +
* Линейная регрессия.
 
* Мультиколлинеарность. Отбор регрессоров.
 
* Мультиколлинеарность. Отбор регрессоров.
 
* Гетероскедастичность. Эндогенность.
 
* Гетероскедастичность. Эндогенность.
* Логистическая регрессия.
 
* Нестандартные регрессии.
 
  
'''Дата выдачи:'''  
+
'''Дата выдачи:''' 2 декабря
  
'''Дедлайн:''' 3 декабря 23:59
+
'''Дедлайн:''' 14  декабря 23:59
  
[Условие]
+
[https://github.com/V-Marco/psmo_21_22/blob/main/hw/hw2/psmo_hw2.ipynb Условие]
  
[Ссылка на задание в Classroom]
+
[https://classroom.github.com/a/HTd0GCXS Ссылка на задание в Classroom]
  
 
=== Квизы ===
 
=== Квизы ===
Строка 133: Строка 185:
 
| 6 || 8 октября || EM-алгоритм || [https://v-marco.github.io/psmo_book/content/em/quiz.html Ссылка]
 
| 6 || 8 октября || EM-алгоритм || [https://v-marco.github.io/psmo_book/content/em/quiz.html Ссылка]
 
|-
 
|-
| 7 || 15 октября || ТГМ и МНК ||
+
| 7 || 15 октября || ТГМ и МНК || отменён
 
|-
 
|-
| 8 || 29 октября || Тестирование гипотез в линейной регрессии ||  
+
| 8 || 29 октября || Тестирование гипотез в линейной регрессии || отменён
 
|-
 
|-
| 9 || 5 ноября || Корректировка гетероскедастичности ||
+
| 9 || 5 ноября || Корректировка гетероскедастичности || отменён
 
|-
 
|-
| 11 || 19 ноября || Логистическая регрессия ||
+
| 11 || 19 ноября || Логистическая регрессия || отменён
 
|}
 
|}
 +
 +
Все квизы, начиная с четвёртого включительно, отменяются. Оценка за квизы формируется следующим образом:
 +
 +
Квиз = 0.5 * (Средняя за Квизы 1, 2 и 3) + 0.5 * Весёлая активность.
 +
 +
Информация о проведении Весёлой активности выложена в канале в Телеграме.
  
 
===Контрольная работа===
 
===Контрольная работа===
  
Контрольная работа является письменной формой контроля. В контрольную работу войдут задачи по темам лекций и семинаров первого модуля.
+
Контрольная работа является письменной формой контроля и состоится 19 октября в 13:00. В контрольную работу войдут задачи по темам лекций и семинаров первого модуля:
 +
* Метод максимального правдоподобия
 +
* Тесты LR, LM, W
 +
* Энтропия и KL-дивергенция
 +
* EM-алгоритм
 +
* Бутстрэп
  
 
[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/midterm_info.pdf Задачи для подготовки прошлого года]]
 
[[https://github.com/V-Marco/psmo_20_21/blob/master/misc/midterm_info.pdf Задачи для подготовки прошлого года]]
 +
* [[https://github.com/V-Marco/psmo_20_21/blob/master/misc/PSMO_Cons_25_10.pdf Разбор (конспект)]]
 +
* [[https://www.youtube.com/watch?v=j1vvy9fCeDo Разбор (видео)]]
  
 
[[https://github.com/V-Marco/psmo_20_21/blob/master/midterm/midterm.pdf Задания контрольной прошлого года]]
 
[[https://github.com/V-Marco/psmo_20_21/blob/master/midterm/midterm.pdf Задания контрольной прошлого года]]
 +
* [[https://drive.google.com/file/d/187wsU3vDVI0MH89EKd_5Qm4ztT0RoIvj/view Разбор (конспект от руки)]]
 +
* [[https://drive.google.com/file/d/1jHfClh1k7Mo-MvkThajzJmfkg9UU-79M/view Разбор (конспект в техе)]]
 +
* [[https://youtu.be/uxUjBlIMTJ4 Разбор (видео)]]
  
 
===Экзамен===
 
===Экзамен===
Строка 155: Строка 223:
  
 
Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.
 
Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.
 +
 +
[[https://github.com/V-Marco/psmo_21_22/blob/main/exam/exam_quest.pdf Вопросы к экзамену]]
  
 
==Отчётность по курсу и критерии оценки==
 
==Отчётность по курсу и критерии оценки==

Текущая версия на 14:49, 13 декабря 2021

О курсе

Курс читается для студентов 3-го курса в 1-2 модулях.

Лектор: Демешев Борис Борисович

Лекции проходят по пятницам (09:30 - 10:50) онлайн.

Семинаристы: Владимир Омелюсик и Ксения Касьянова

Учебные ассистенты: Анастасия Алтунина и Александр Плахин

Семинары

Группа Семинарист Учебный ассистент Время занятий Аудитория/ссылка
БПМИ191 МОП Владимир Омелюсик Анастасия Алтунина Пт, 13:00–14:20 D509
БПМИ192 МОП Владимир Омелюсик Анастасия Алтунина Вт, 13:00–14:20 R206
БПМИ193 МОП Владимир Омелюсик Александр Плахин Вт, 14:40 - 16:00 R304
по выбору Ксения Касьянова Александр Плахин Вт, 18:10–19:30 D502

Полезные ссылки

Боевой листок

Лекции

[3 сентября] Лекция 1: Энтропия и дивергенция Кульбака-Лейблера. AIC.


[10 сентября] Лекция 2: Метод максимального правдоподобия


[17 сентября] Лекция 3: maximum likelihood


[24 сентября] Лекция 4: LR, LM, W


[1 октября] Лекция 5: EM


[8 октября] Лекция 6: EM + bootstrap


[15 октября] Лекция 7: Boot + regression


[29 октября] Лекция 8: CI regression

Семинары

Семинар 1: Гипотезы и доверительные интервалы.

Семинар 2: Энтропия и KL-дивергенция. Метод максимального правдоподобия.

Семинар 3: Метод максимального правдоподобия. Информация Фишера.

Семинар 4: Тесты LR, LM, W

Семинар 5: EM-алгоритм

Семинар 6: EM-алгоритм. Бутстрэп

Семинар 7: Линейная регрессия. МНК. ТГМ

Семинар 8: Тестирование гипотез в линейной регрессии

Семинар 9: Прогнозирование. Геометрия распределений в линейной регрессии

Семинар 10: Гетероскедастичность

Семинар 11: Эндогенность

Семинар 12: Мультиколлинеарность. Логистическая регрессия

Домашние задания

Домашние задания загружаются в личный репозиторий в GitHub Classroom.

Правила оформления решений находятся на первой странице каждого домашнего задания.

Домашнее задание 1.

Темы:

  • Метод максимального правдоподобия. Тесты LR, LM, W.
  • Энтропия и дивергенция Кульбака-Лейблера. EM-алгоритм.
  • Бутстрэп.
  • МНК. Тестирование гипотез в линейной регресии.

Дата выдачи: 8 сентября

Дедлайн: 19 ноября 23:59

[Условие]

[Ссылка на задание в Classroom]

Домашнее задание 2.

Темы:

  • Линейная регрессия.
  • Мультиколлинеарность. Отбор регрессоров.
  • Гетероскедастичность. Эндогенность.

Дата выдачи: 2 декабря

Дедлайн: 14 декабря 23:59

Условие

Ссылка на задание в Classroom

Квизы

Квизы выдаются в начале семинара строго на 10-15 минут. Каждый квиз содержит случайную задачу из задач для подготовки с изменёнными числовыми данными.

В первом столбце таблицы указан номер семинара, на котором пройдёт квиз, а во втором – дата лекции, после которой на соответствующих семинарах пройдут квизы.

На семинаре № После лекции Тема Задачи
3 17 сентября Энтропия и дивергенция Кульбака-Лейблера Ссылка
5 1 октября Тесты LR, LM, W Ссылка
6 8 октября EM-алгоритм Ссылка
7 15 октября ТГМ и МНК отменён
8 29 октября Тестирование гипотез в линейной регрессии отменён
9 5 ноября Корректировка гетероскедастичности отменён
11 19 ноября Логистическая регрессия отменён

Все квизы, начиная с четвёртого включительно, отменяются. Оценка за квизы формируется следующим образом:

Квиз = 0.5 * (Средняя за Квизы 1, 2 и 3) + 0.5 * Весёлая активность.

Информация о проведении Весёлой активности выложена в канале в Телеграме.

Контрольная работа

Контрольная работа является письменной формой контроля и состоится 19 октября в 13:00. В контрольную работу войдут задачи по темам лекций и семинаров первого модуля:

  • Метод максимального правдоподобия
  • Тесты LR, LM, W
  • Энтропия и KL-дивергенция
  • EM-алгоритм
  • Бутстрэп

[Задачи для подготовки прошлого года]

[Задания контрольной прошлого года]

Экзамен

Экзамен является устной формой контроля. В экзамен войдут теория и задачи по темам лекций и семинаров всего курса.

Подробный состав тем и процедура проведения будут объявлены в начале второго модуля.

[Вопросы к экзамену]

Отчётность по курсу и критерии оценки

Итоговая оценка за курс

Итоговая оценка за курс рассчитывается по следующей формуле:

Итог = 0.6 * Накоп + 0.4 * Экз.

В этой формуле

Накоп = 0.2 * Квиз + 0.2 * (ДЗ1 + ДЗ2) + 0.4 * КР,

где

  • Квиз – средняя оценка за все квизы.
  • ДЗ1 и ДЗ2 – оценки за ДЗ1 и ДЗ2 соответственно.
  • КР – оценка за контрольную работу.

Экз =

  • Накопленная оценка, если она меньше или равна 7.
  • 7, если Накопленная оценка больше 7.
  • Оценка за устный экзамен, если прийти и сдать его.

Округление арифметическое, округляется только итоговая оценка.

Литература

  • Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences – базовый курс с большим количеством картинок и подробных текстовых объяснений. Прекрасно подходит для быстрого повторения интуиции и основной методологии.
  • Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference – хороший курс магистерского уровня, охватывающий большое количество тем из теории вероятностей и статистики. Основной фокус делается на прикладных применениях и методологии, поэтому книга содержит ровно столько математики, сколько необходимо для понимания практических аспектов. Тем не менее, качество изложенного материала на высоте: все математические утверждения доказываются и сопровождаются подробной интуицией.
  • David Williams. Weighing the Odds. A Course in Probability and Statistics – суровая книжка для самых смелых. Содержит все основные темы по теории вероятностей и статистике в рамках программы для технических специальностей. Сквозная идея книги – показать связь теории вероятностей и статистики с другими разделами математики, поэтому для каждого утверждения приводятся строгие и очень подробные доказательства. Сильно расширяет общематематический кругозор, содержит много нетривиальных утверждений.