МОВС Прикладная статистика (2022-23) — различия между версиями
м (dates edit) |
м (after last sem) |
||
(не показано 18 промежуточных версии этого же участника) | |||
Строка 28: | Строка 28: | ||
Видеозаписи курса с Курсеры, слитые на Ютуб: [https://www.youtube.com/@user-bg8cd4fn7d/playlists click] | Видеозаписи курса с Курсеры, слитые на Ютуб: [https://www.youtube.com/@user-bg8cd4fn7d/playlists click] | ||
+ | |||
+ | Курсы на платформе Вышки: [[https://edu.hse.ru/enrol/index.php?id=132492 1], [https://edu.hse.ru/course/view.php?id=132493 2], [https://edu.hse.ru/course/view.php?id=132488 3]] | ||
+ | |||
+ | '''Папка с конспектами: [https://drive.google.com/drive/folders/1k1u5iDa5Jc8ZaalBzxESr_9td5s5L3e-?usp=sharing GDrive]''' | ||
{| class="wikitable" | {| class="wikitable" | ||
Строка 68: | Строка 72: | ||
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=IMIpA-ThGlU&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1622978742/80 Конспект]] Свойства оценок и асимптотика || 09.02.23 || || [https://www.youtube.com/watch?v=arYqiJcyE2s&list=PLCf-cQCe1FRxdjkT1RjdmuFeco11U8ZIP Неделя про свойства оценок] | | style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=IMIpA-ThGlU&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1622978742/80 Конспект]] Свойства оценок и асимптотика || 09.02.23 || || [https://www.youtube.com/watch?v=arYqiJcyE2s&list=PLCf-cQCe1FRxdjkT1RjdmuFeco11U8ZIP Неделя про свойства оценок] | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=LTlqyRI8cQ0&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC | + | | style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=LTlqyRI8cQ0&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC ч.1], [https://www.youtube.com/watch?v=6Bcjc_0N_jw&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC ч.2]] || [[https://t.me/c/1622978742/79 Конспект]] AB-тестирование и как его спланировать || 16.02.23 || |
[https://github.com/FUlyankin/yet_another_matstat_course/blob/main/notebooks/NPS_CI_simulation.ipynb Конспект] Филиппа про NPS, [https://github.com/FUlyankin/yet_another_matstat_course/blob/main/old_materials/sem04_errors_MDE_etc.ipynb Конспект] про планирование AB-теста и вывод формул, | [https://github.com/FUlyankin/yet_another_matstat_course/blob/main/notebooks/NPS_CI_simulation.ipynb Конспект] Филиппа про NPS, [https://github.com/FUlyankin/yet_another_matstat_course/blob/main/old_materials/sem04_errors_MDE_etc.ipynb Конспект] про планирование AB-теста и вывод формул, | ||
Строка 74: | Строка 78: | ||
|| [https://github.com/FUlyankin/yet_another_matstat_course/blob/main/notebooks/AB_table.ipynb Код с пары], [https://www.youtube.com/watch?v=Zv-5gbJtofk&list=PLCf-cQCe1FRxTgNPwcRSkBjvtE8DEm7rU Неделя про проверку гипотез] | || [https://github.com/FUlyankin/yet_another_matstat_course/blob/main/notebooks/AB_table.ipynb Код с пары], [https://www.youtube.com/watch?v=Zv-5gbJtofk&list=PLCf-cQCe1FRxTgNPwcRSkBjvtE8DEm7rU Неделя про проверку гипотез] | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ | + | | style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=VyLnV4qK8jU&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1677809213/3029 Конспект]] Точные критерии для проверки гипотез. Точные доверительные интервалы. Тест Уэлча || 02.03.23 || |
+ | [https://www.youtube.com/watch?v=dJzRzeMdvbE&list=PLCf-cQCe1FRxoI9khulGS0cDaUNaSTa7A Неделя 8] про доверительные интервалы, | ||
+ | |||
+ | [https://www.youtube.com/watch?v=Zv-5gbJtofk&list=PLCf-cQCe1FRxTgNPwcRSkBjvtE8DEm7rU Неделя 9] про гипотезы (подробнее про построение тестов, p-value, ошибки 1/2 рода) | ||
+ | || | ||
+ | [https://github.com/FUlyankin/matstat-AB/blob/main/week08_confInt/ttest_2sample.pdf Файл] с выводом р-я Стьюдента для случая с неизвестными равными дисперсиями | ||
+ | |||
+ | [https://github.com/FUlyankin/matstat-AB/blob/main/week09_hypo/cheatsheet_param_stat.pdf Шпаргалка] по всем параметрическим тестам, [https://github.com/FUlyankin/matstat-AB/blob/main/week09_hypo/cheatsheet_param_stat.pdf много тетрадок] с простыми задачами на [https://github.com/FUlyankin/matstat-AB/tree/main/week08_confInt дов. интервалы]/[https://github.com/FUlyankin/matstat-AB/tree/main/week09_hypo гипотезы] | ||
+ | |||
+ | [https://tvims.nsu.ru/chernova/sibguti/ms-sibguti.pdf Глава 4 Черновой] про точные дов. интервалы, [https://www.youtube.com/watch?v=CwnkwI_5Gas&list=PLCf-cQCe1FRxoI9khulGS0cDaUNaSTa7A Видео] про то же | ||
+ | |||
+ | Глава 5 из Черновой про дов. интервалы для нормальных выборок, | ||
+ | |||
+ | [https://sobopedia.azurewebsites.net/Exercises/Details?id=183 Задача] на точный дов. интервал для эксп. р-я | ||
+ | |||
+ | [https://www.stat.umn.edu/geyer/s06/5102/notes/ci.pdf Вывод асипт. р-я] для выборочной дисперсии | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ | + | | style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=0Rn6ImS0WK4&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1677809213/3038 Конспект]] Непараметрические критерии. Тест Манна-Уитни || 09.03.23 || || |
|- | |- | ||
− | | | + | | Конец третьего модуля | |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=CjVNOeX-Ahk&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1622978742/94 Конспект], [https://t.me/c/1677809213/3606 Ноутбук]] Бутстрап || 13.04.23 || || |
|- | |- | ||
− | | | + | | style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=b3aivo0GJi8&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1622978742/97 Конспект]] Метод максимального правдоподобия || 20.04.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ | + | | style="background:#eaecf0;" | '''10''' [[https://www.youtube.com/watch?v=A1d-FLUWJZk&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1622978742/110 Конспект]] Линейная регрессия || 27.04.23 || || [https://books.econ.msu.ru/Introduction-to-Econometrics/ Хорошая книга] про линейную регрессию |
|- | |- | ||
− | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ | + | | style="background:#eaecf0;" | '''11''' [[https://www.youtube.com/watch?v=ln4Ktv27L7c&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC Запись]] || [[https://t.me/c/1677809213/3811 Конспект]] Продвинутые техники АБ-тестирования. CUPED, CUPAC || 11.05.23 || || [https://exp-platform.com/Documents/2013-02-CUPED-ImprovingSensitivityOfControlledExperiments.pdf Оригинальная статья про Cuped], [https://github.com/bdemeshev/cuped_statistician_viewpoint/blob/main/cuped_stat_viewpoint.pdf Взгляд на CUPED через линрег], [https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d Картинки про CUPED], [https://books.econ.msu.ru/Introduction-to-Econometrics/ 11 глава книги Картаева] |
|- | |- | ||
− | | style="background:#eaecf0;" | '''12''' [[ | + | | style="background:#eaecf0;" | '''12''' [[https://www.youtube.com/watch?v=i980TywUQOk&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC ч.1], [https://www.youtube.com/watch?v=pgS9j_1PSgg&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC ч.2], [https://www.youtube.com/watch?v=tegiHMkR1p0&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC ч.3]] || [[https://t.me/c/1677809213/3811 Конспект]] Продвинутые техники АБ-тестирования. LATE, Мэтчинг. || 18.05.23 || || [http://quantile.ru/06/06-RE.pdf Обзорная статья] про мэтчинг, [https://habr.com/ru/companies/citymobil/articles/560426/ Статья от Сити-мобил] про свичбек, [https://books.econ.msu.ru/Introduction-to-Econometrics/chap11/11.3/ Глава про LATE] из книги Картаева, [https://proceedings.mlr.press/v67/gutierrez17a/gutierrez17a.pdf Туториал] по Uplift-моделированию, [https://matheusfacure.github.io/python-causality-handbook/01-Introduction-To-Causality.html Книга "Causal Inference for the Brave and True"] с мемами и питоном |
|- | |- | ||
− | | style="background:#eaecf0;" | '''13''' [[ | + | | style="background:#eaecf0;" | '''13''' [[https://www.youtube.com/watch?v=dPqpBAXVw7g&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC ч.1], [https://www.youtube.com/watch?v=gHWe6-pfE0A&list=PLNKXA-74YGLjDOtDSZEFoy1yP-3AfiHUC ч.2]] || [[ Ноутбук]] Продуктовые подходы. Стратификация || 08.06.23 || || |
− | + | [https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f#a429 Статья от VK] с симуляциями разных AB-тестов и ROC-AUC для них | |
− | + | ||
+ | Большая классная [https://arxiv.org/pdf/1803.06336.pdf статья про дельта метод] от Денга (автора CUPED), [https://alexdeng.github.io/ Список статей Денга] | ||
+ | |||
+ | [https://www.researchgate.net/publication/322969314_Consistent_Transformation_of_Ratio_Metrics_for_Efficient_Online_Controlled_Experiments Статья про линеаризацию] от Яндекса, вступление одного из авторов [https://www.youtube.com/watch?v=vIdwgJFz5Mk статьи Ильи Кацева] | ||
+ | |||
+ | [https://drive.google.com/file/d/1kR9M7arM3QlLQIUbaBriJBsWoNVlVkM1/view Преза про стратификацию] | ||
|- | |- | ||
|} | |} | ||
− | |||
− | |||
==Формула оценивания== | ==Формула оценивания== | ||
− | Оценка = 0.25*О< | + | Оценка = ''<strike>0.25*О<small>ДЗ-1</small> + 0.25*О<small>ДЗ-2</small> + 0.25*О<small>ДЗ-3</small> + 0.25*О<small>ДЗ-4</small></strike>''<br/> = 0.333*О<sub>ДЗ-1</sub> + 0.333*О<sub>ДЗ-2</sub> + 0.334*О<sub>ДЗ-3</sub> |
+ | == Домашние задания == | ||
+ | Инвайт в Энитаск: ''e1eQIU9'' | ||
− | |||
=== Примерный план дедлайнов=== | === Примерный план дедлайнов=== | ||
* ДЗ-1: 20 февраля - 20 марта | * ДЗ-1: 20 февраля - 20 марта | ||
* ДЗ-2: 20 марта - 10 апреля | * ДЗ-2: 20 марта - 10 апреля | ||
* ДЗ-3: 10 апреля - 14 мая | * ДЗ-3: 10 апреля - 14 мая | ||
− | * ДЗ-4: 15 мая - 5 июня | + | * <strike>ДЗ-4: 15 мая - 5 июня</strike> |
=== Список заданий === | === Список заданий === | ||
− | # --- (Недели 1, 2 и 5 курса "Прикладная статистика" ощутимо помогут выполнить это дз) | + | # [[https://github.com/FUlyankin/yet_another_matstat_course/blob/main/hw_matstat/yam_hw01-hakuna_matata.ipynb Симуляции]], [[https://github.com/FUlyankin/yet_another_matstat_course/blob/main/hw_matstat/yam_hw01-hakuna_matata_tasks.pdf Задачи]] | Выдано 27.02.23 | '''Дедлайн - '''<strike>26.03.23</strike> '''02.04.23 23:59 МСК'''--- (Недели 1, 2 и 5 курса "Прикладная статистика" ощутимо помогут выполнить это дз) |
− | # | + | # [[https://github.com/FUlyankin/yet_another_matstat_course/blob/main/hw_matstat/yam_hw02-boots_rap.ipynb Ноутбук]] | Выдано 23.04.23 | '''Дедлайн - 14.05.23''' |
− | # | + | # [[https://github.com/FUlyankin/yet_another_matstat_course/blob/main/hw_matstat/hw03_A-B%20test_results.ipynb Ноутбук]] | Выдано 24.05.23 | '''Дедлайн - 11.06.23''' |
− | + | ||
== Литература == | == Литература == |
Текущая версия на 12:01, 9 июня 2023
Содержание
О курсе
Занятия проводятся в Zoom по четвергам в 19:00
Контакты
Канал курса в TG: [channel link]
Чат курса в TG: [chat link]
Преподаватель: Филипп Валерьевич Ульянкин
Ассистент | Контакты |
---|---|
Лука Логинов | @l_loginov |
Юлия Захарова | @myself_kinnie |
Настя | @kadaobed |
Материалы курса
Ссылка на плейлист курса на YouTube: [YouTube-playlist]: первому занятию 2-го семестра соответствует видео 9.1 "Условное матожидание"
Ссылка на GitHub с материалами курса: [GitHub repository]
Видеозаписи курса с Курсеры, слитые на Ютуб: click
Курсы на платформе Вышки: [1, 2, 3]
Папка с конспектами: GDrive
Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
---|---|---|---|---|
1 [ч.1], [ч.2] | [Конспект] Условное матожидание, рождение нормального распределение | 19.01.23 |
Обзорная статья про Хирша-Максвела от Б.Б. Демешева, Вывод НС от Вернона Лэндона, Статья про геометрию случайных величин, Б.Б. Демешев и Оля Гнилова, Видос Савватеева про экспоненту как единственную функцию, связывающую сложение с умножением, | |
2 [Запись] | [Конспект] Сходимость по вероятности, Закон больших чисел, метод моментов | 26.01.23 |
I половина 5-й недели из онлайн курса (про ЗБЧ), Видосы c теорией и с задачами на 6-й неделе |
Глава 11 (про ЗБЧ) в Черновой, Конспект про сходимости случ. величин (с ручными задачками и их решениями), Аналог конспекта выше от Филиппа, Конспект про метод моментов, Ф. Ульянкин; Тетрадки с симуляциями на Python, Классные лекции по асимптотическому терверу |
3 [ч.1], [ч.2] | [Конспект] Сходимость по распределению, ЦПТ, асимптотические доверительные интервалы. Доказательство ЦПТ без характеристических функций | 02.02.23 |
Тетрадки к неделе 5 по ЗБЧ//ЦПТ, Тетрадки к неделе 6 по методу моментов и асимпт. доверит. интервалам; |
Глава 12 (про ЦПТ) в Черновой; Статья с доказательством ЦПТ, Конспект док-ва от Б.Б. Демешева, Глава 13 Черновой с кратким введением в характеристические функции и док-во ч/з них ЗБЧ//ЦПТ |
4 [Запись] | [Конспект] Свойства оценок и асимптотика | 09.02.23 | Неделя про свойства оценок | |
5 [ч.1, ч.2] | [Конспект] AB-тестирование и как его спланировать | 16.02.23 |
Конспект Филиппа про NPS, Конспект про планирование AB-теста и вывод формул, Конспект про две процедуры и их сравнение |
Код с пары, Неделя про проверку гипотез |
6 [Запись] | [Конспект] Точные критерии для проверки гипотез. Точные доверительные интервалы. Тест Уэлча | 02.03.23 |
Неделя 8 про доверительные интервалы, Неделя 9 про гипотезы (подробнее про построение тестов, p-value, ошибки 1/2 рода) |
Файл с выводом р-я Стьюдента для случая с неизвестными равными дисперсиями Шпаргалка по всем параметрическим тестам, много тетрадок с простыми задачами на дов. интервалы/гипотезы Глава 4 Черновой про точные дов. интервалы, Видео про то же Глава 5 из Черновой про дов. интервалы для нормальных выборок, Задача на точный дов. интервал для эксп. р-я Вывод асипт. р-я для выборочной дисперсии |
7 [Запись] | [Конспект] Непараметрические критерии. Тест Манна-Уитни | 09.03.23 | ||
8 [Запись] | [Конспект, Ноутбук] Бутстрап | 13.04.23 | ||
9 [Запись] | [Конспект] Метод максимального правдоподобия | 20.04.23 | ||
10 [Запись] | [Конспект] Линейная регрессия | 27.04.23 | Хорошая книга про линейную регрессию | |
11 [Запись] | [Конспект] Продвинутые техники АБ-тестирования. CUPED, CUPAC | 11.05.23 | Оригинальная статья про Cuped, Взгляд на CUPED через линрег, Картинки про CUPED, 11 глава книги Картаева | |
12 [ч.1, ч.2, ч.3] | [Конспект] Продвинутые техники АБ-тестирования. LATE, Мэтчинг. | 18.05.23 | Обзорная статья про мэтчинг, Статья от Сити-мобил про свичбек, Глава про LATE из книги Картаева, Туториал по Uplift-моделированию, Книга "Causal Inference for the Brave and True" с мемами и питоном | |
13 [ч.1, ч.2] | Ноутбук Продуктовые подходы. Стратификация | 08.06.23 |
Статья от VK с симуляциями разных AB-тестов и ROC-AUC для них Большая классная статья про дельта метод от Денга (автора CUPED), Список статей Денга Статья про линеаризацию от Яндекса, вступление одного из авторов статьи Ильи Кацева |
Формула оценивания
Оценка = 0.25*ОДЗ-1 + 0.25*ОДЗ-2 + 0.25*ОДЗ-3 + 0.25*ОДЗ-4
= 0.333*ОДЗ-1 + 0.333*ОДЗ-2 + 0.334*ОДЗ-3
Домашние задания
Инвайт в Энитаск: e1eQIU9
Примерный план дедлайнов
- ДЗ-1: 20 февраля - 20 марта
- ДЗ-2: 20 марта - 10 апреля
- ДЗ-3: 10 апреля - 14 мая
-
ДЗ-4: 15 мая - 5 июня
Список заданий
- [Симуляции], [Задачи] | Выдано 27.02.23 | Дедлайн -
26.03.2302.04.23 23:59 МСК--- (Недели 1, 2 и 5 курса "Прикладная статистика" ощутимо помогут выполнить это дз) - [Ноутбук] | Выдано 23.04.23 | Дедлайн - 14.05.23
- [Ноутбук] | Выдано 24.05.23 | Дедлайн - 11.06.23
Литература
- Чернова, Н.И., 2003. Лекции по математической статистике. Новосибирск: НГУ.
- Pilon, C.D., 2015. Probabilistic programming and Bayesian methods for hackers.
- Hunter, D.R., 2006. Statistics 553: asymptotic tools. Lecture Notes.
- Лагутин, М.Б., 2012. Наглядная математическая статистика. Учебное пособие. БИНОМ. Лаборатория знаний.
- Matloff, N.S., 2009. From algorithms to Z-Scores: Probabilistic and statistical modeling in computer science. Gainesville: University Press of Florida.