Statistics 4mr 2021-22

О курсе

Youtube-канал с лекциями

Оценивание

UoL = Экзамен * 0.7 + Письменная (или курсовая) работа * 0.3

Итоговая оценка = Экзамен * 0.5 + 0.3 * Контрольная работа + 0.2 * Домашняя работа

Module 1

(1 lecture + 1 class per group X 7 weeks)

• Bootstrap
• Welch test
• Mann-Whitney test
• CUPED
• Difference in Difference estimator
• Matching
• Multiple comparison corrections

Module 2

(1 lecture + 1 class per group X 8 weeks)

• Sampling
• Sample size calculation
• Contingency tables, Chi-squared tests
• ANOVA, ANCOVA
• Partial correlation

Module 3

(1 lecture + 1 class per group X 11 weeks)

• Discriminant analysis
• Logit
• PCA
• Factor analysis
• Cluster analysis, Dendrogramms
• Conjoint Analysis
• Multidimensional scaling

Литература

Вспоминаем тервер и матстат

Книжки попроще

• Frederick Gravetter, Larry Wallnau. Statistics for the Behavioral Sciences
• Феллер В. Введение в теорию вероятностей и её приложения

Посложнее

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference
• David Williams. Weighing the Odds. A Course in Probability and Statistics
• Ширяев А.Н. Вероятность - 1 .

Советы от UoL

• Malhotra, N.K. D.F. Birks and P.A. Wills Marketing Research, Pearson, fourth edition

Боевой листок

Лекция 1. Наивный bootstrap, bootstrap t-статистики, bootstrap в bootstrap

Запись лекции

Полезно почитать:

• Tim Hestenberg, What teachers should know about the bootstrap
• Edgeworth expansion

Тетрадка с семинара:

• bootstrap_part1

Лекция 2. Дикий bootstrap, парный bootstrap, пуассоновский bootstrap

Запись лекции

Полезно почитать:

• James MacKinnon, Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)
• Poisson bootstrap

Тетрадка с семинара:

• bootstrap_part2

Лекция 3. Ещё немного про бутстрэп, тест Уэлча

Запись лекции

Тетрадка с семинара:

• welch

Лекция 4. Манн Уитни, CUPED

Запись лекции

Полезно почитать:

• Deng, Improving the Sensitivity of Online Experiments
• Victor Lei, How booking increases power with CUPED

Тетрадка с семинара:

• mann_whitney

Лекция 5. CUPED, DND

Запись лекции

Тетрадка с семинара:

• cuped

Лекция 6. Мэтчинг

Запись лекции

Тетрадка с семинара:

• matching

Лекция 7. Поправка Бонферрони

Запись лекции

Тетрадка с семинара:

• matching & bonferroni

Лекция 8. Sampling

Запись лекции

Тетрадка с семинара:

• sampling

Лекция 9. Стратификация, вычисление размера выборки

Запись лекции

Тетрадка с семинара:

• sample_size

Лекция 10. MDE

Запись лекции

Лекция 11. Anova - 1

Запись лекции

Лекция 12. Anova - 2

Запись лекции

Полезные источники в перемешку

General AB:

• VK practitioner guide
• Deng, Trustworthy analysis of online A/B tests: Pitfalls, challenges and solutions
• Deng, webpage
• Stats SE, AB testing for ratio of sums
• Guide to AB. Тесты для таблиц сопряжённости, Welch test, Mann-Whitney.

Bootstrap:

• Tim Hestenberg, What teachers should know about the bootstrap. Лучшее первое знакомство с бутстрэпом. Если есть время на один источник по бутстрэпу, то это то, что нужно.
• Edgeworth expansion. Большая книжка с брутальной теорией, преобразованиями Фурье, доказательствами и картинкой с матрёшками.
• James MacKinnon, Bootstrap Methods in Econometrics (про дикий и парный бутстрэп)
• Poisson bootstrap
• Evaluation of Bootstrap Methods

Робастные ошибки в регрессии:

• James Mackinnon, 30 years of robust inference

CUPED + CUPAC:

• Deng, Improving the Sensitivity of Online Experiments, CUPED

Оригинальная статья, на CUPED можно смотреть как на две подряд применённых регрессии :)

• Victor Lei, How booking increases power with CUPED
• CUPAC

Де-факто: признак генерируется любым алгоритмом машинного обучения, затем множественная регрессия с кластер-робастными стандартными ошибками.

Linearization + Delta-method:

• Transformation of Ratio Metrics
• Approximate E, Var for ratio
• Deng, Applying delta method: practical guide with novel ideas

Эффекты воздействия:

• Рубен Ениколопоп, Эффекты воздействия. Мэтчинг, propensity score.
• Matheus Facure, Causal inference for Brave and True. Инструментальные переменные, мэтчинг, RDD и прочие попытки выяснить причинно-следственные связи на неэкспериментальных данных. С мемасиками и в питоне.