Теория вероятностей КНАД 24/25

Цели и задачи курса

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Оценивание

Итоговая оценка за курс = 0.2 Домашние задания + 0.25 Контрольная-1 + 0.25 Контрольная-2 + 0.3 Экзамен

Каждая оценка (суммарный итог за домашние задания, контрольные, экзамен) — целое число от 0 до 100. Для перевода в 10-балльную шкалу итоговой оценки используется деление на 10 с арифметическим округлением.

Домашние задания для самураев

Домашние задания одним файлом и папочкой. Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций) выдается домашнее задание сроком на две недели. Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач). В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна. Ещё можно вместо pdf-файла написать всё в ipynb. Бонусов за сдачу домашки в техе нет. Пример шаблона.

Обратите внимание: время каждого дедлайна — 21:00.

Контрольные работы и экзамен

Вес каждой задачи будет написан в тексте работы. Задачи с ненаписанным по случайности весом имеют равный вес. Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания. При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

Контрольная-2:

2024-12-16, понедельник, 18:10-20:10 + 10 минут, можно один чит-шит А4 любого содержания.

Экзамен

2024-12-23, понедельник, 10:00-16:00

орг правила следующие:

1. ~10:00-10:40 в начале будет письменный тест с прокторингом и автоматической проверкой

2. ~11:40 (ориентировочно) по результатам появится дефолтная оценка за экзамен (0-8).

3. ~12:00 получившие дефолтную 0-6 наслаждаются свободой :)

получившие дефолтную 7 или 8 должны принять решение, соглашаются ли они с оценкой или храбро идут бороться устно за более высокий балл.

4. ~12:00-16:00 храбрецы с дефолтной 7 или 8 получают от 6 до 10 за экзамен

Учебные материалы

PP: Листки с задачами к курсу.

PDNA: Вероятностная ДНК = вкусные задачи по теории вероятностей.

группа в телеграм

Рукописи лекций и семинаров

Дневник самурая

2024-09-10, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая. Линейность математического ожидания. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из WTSK

2024-09-17, лекция 2: Метод первого шага. Разложение случайной величины в сумму. Определение условной вероятности и условного ожидания (по событию). Формула полной вероятности. Формула Байеса. Независимость пары событий. Независимость набора событий в совокупности.

2024-09-24, лекция 3: Независимость случайных величин. Критерии независимости случайных величин. Идея производящих функций: описать множество с помощью функцию, извлечь нужную информацию из функции с помощью подстановок и производных. Как извлечь P(X=3), E(X), E(X^2), E(XY) из производящей функции исходов. Определение функции, производящей вероятности. Определение функции, производящей моменты.

2024-10-01, лекция 4: Основные дискретные распределения: биномиальное, отрицитальное биномиальное, геометрическое, гипергеометрическое. Описание случайной величины с помощью равномерного выбора точки на подмножестве в R^n. Определение функции плотности как линейной части вероятности попадания в отрезок. LOTUS: нахождение ожидания от функции случайной величины.

2024-10-08, лекция 5: Смешанная случайная величина. Геометрия случайных величин, порождаемая E(XY). Дисперсия. Стандартное отклонение. Ковариация. Корреляция.

2024-10-15, лекция 6: Ковариация — скалярное произведение на множестве случайных величин. Корреляция — аналог косинуса угла между случайными величинами. Дисперсия суммы величин — аналог теоремы косинусов. Независимость случайных величин как нулевая ковариация произвольных функций. Энтория. Совместная энтропия. Условная энтропия. Кросс-энтропия. Дивергенция Кульбака—Ляйблера.

2024-10-22, лекция 7: Совместная функция распределения. Совместная функция плотности. Снижение размерности. Изменение функции плотности при гладком преобразовании. Критерий независимости величин в терминах функции распределения и в терминах функции плотности. Ожидание от функции. Условная функция плотности. Условное ожидание.

2024-11-05, лекция 8: Пуассоновское распределение как предел биномиального. Аксиомы пуассоновского потока. Следствия из аксиом (с частичным доказательством): количество событий за промежуток времени распределено по Пуассону. Время между происшествиями распределено экспоненциально. Сумма двух пуассоновских потоков — пуассоновский поток.

2024-11-12, лекция 9: Совместное распределение отношений времени и общего времени. Гамма-распределение как сумма экспоненциальных. Гамма-функция. Обобщение гамма-распределения на случай нецелого параметра. Ожидание и дисперсия гамма-распределения.

2024-11-19, лекция 10: Бета-распределение как закон распределения порядковой статистики равномерных величин. Бета-функция. Обобщение бета-распределения на случайных нецелых параметров. Ожидание и дисперсия бета-распределения. Бета-распределение как отношение двух зависимых гамма-распределений. Соотношение между бета и гамма-функциями.

2024-11-26, лекция 11: Предпосылки Гаусса. Вывод нормального распределения из предпосылок Гаусса. Вывод константы впереди интеграл путём интегрирования двумерного нормального распределения. Параметризация с помощью точности и с помощью дисперсии.

2024-12-03, лекция 12: От многомерного стандартного нормального к многомерному нормальному. Свойства векторного ожидания и ковариационных матриц. Функция плотности многомерного нормального распределения в невырожденном случае. Функция производящая моменты для многомерного нормального распределения. Фурмула Иссерлиса для нахождения моментов.

Семинары

2024-09-10, семинар 1: задачи 1.1, 1.6, 3.5 из PP

2024-09-17, семинар 2: задачи 2.1, 2.3, 12.7 из PP, P(X=x | Y=y) и E(X | Y=y) по таблице 2х2

2024-09-24, семинар 3: извлекаем P(X=3), E(X), E(X^2), E(XY) из производящей функции для подбрасывания монетки 10 раз, 28.16 из PP

2024-10-01, семинар 4: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из PP

2024-10-08, семинар 5: Находим Var, Cov, Corr, E по двумерной табличке. Находим Var, Cov, Corr для случайной величины с функцией плотности. Находим дисперсию отрицательного биномиального.

2024-10-15, семинар 6: Находим Var, E для биномиального. Находим энтропию геометрического. По двумерной табличке находим энтропию, совместную энтропию, условную энтропию. Находим кросс-энтропию и дивергенцию Кульбака—Ляйблера исходя из двух функций плотности. Как связаны энтропия величины с функцией плотности и энтропия дискретной величины, получаемой из исходной округлением с точностью до 1/n?

2024-10-22, семинар 7: 16.18, 16.23а, 16.17а, свёртка двух экспоненциальных величин.

2024-11-05, семинар 8: 13.1, 13.2, 13.4, 13.5

2024-11-12, семинар 9: про гамма

2024-11-19, семинар 10: про бета

2024-11-26, семинар 11: 18.1, 18.2, 18.5, обсудили, почему сумма независимых нормальных имеет нормальное распределение

2024-12-03, семинар 12: 24.10в, 24.17а, 24.16, 24.18, вывели формулу для условного ожидания и условной дисперсии для двумерного нормального

Источники

Источники мудрости, которые я постарался не замутить :)

WTSK: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

BItP: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.