Теория вероятностей КНАД 24/25

Цели и задачи курса

侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]

У самурая нет цели и ничего кроме пути.

Оценивание

Итоговая оценка за курс = 0.2 Домашние задания + 0.25 Контрольная-1 + 0.25 Контрольная-2 + 0.3 Экзамен

Каждая оценка (суммарный итог за домашние задания, контрольные, экзамен) — целое число от 0 до 100. Для перевода в 10-балльную шкалу итоговой оценки используется деление на 10 с арифметическим округлением.

Домашние задания для самураев

Домашние задания одним файлом и папочкой. Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций) выдается домашнее задание сроком на две недели. Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа.

Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач). В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна. Ещё можно вместо pdf-файла написать всё в ipynb. Бонусов за сдачу домашки в техе нет. Пример шаблона.

Обратите внимание: время каждого дедлайна — 21:00.

Контрольные работы и экзамен

Вес каждой задачи будет написан в тексте работы. Задачи с ненаписанным по случайности весом имеют равный вес. Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания. При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.

Экзамен проходит устно.

Учебные материалы

PP: Листки с задачами к курсу.

PDNA: Вероятностная ДНК = вкусные задачи по теории вероятностей.

группа в телеграм

Рукописи лекций и семинаров

Дневник самурая

2024-09-10, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая. Линейность математического ожидания. Первое знакомоство с перестановочным тестом и p-значением.

Можно глянуть: главы 2.1 и 7 из WTSK

2024-09-17, лекция 2: Метод первого шага. Разложение случайной величины в сумму. Определение условной вероятности и условного ожидания (по событию). Формула полной вероятности. Формула Байеса. Независимость пары событий. Независимость набора событий в совокупности.

2024-09-24, лекция 3: Независимость случайных величин. Критерии независимости случайных величин. Идея производящих функций: описать множество с помощью функцию, извлечь нужную информацию из функции с помощью подстановок и производных. Как извлечь P(X=3), E(X), E(X^2), E(XY) из производящей функции исходов. Определение функции, производящей вероятности. Определение функции, производящей моменты.

2024-10-01, лекция 4: Основные дискретные распределения: биномиальное, отрицитальное биномиальное, геометрическое, гипергеометрическое. Описание случайной величины с помощью равномерного выбора точки на подмножестве в R^n. Определение функции плотности как линейной части вероятности попадания в отрезок. LOTUS: нахождение ожидания от функции случайной величины.

2024-10-08, лекция 5: Смешанная случайная величина. Геометрия случайных величин, порождаемая E(XY). Дисперсия. Стандартное отклонение. Ковариация. Корреляция.

2024-10-15, лекция 6: Ковариация — скалярное произведение на множестве случайных величин. Корреляция — аналог косинуса угла между случайными величинами. Дисперсия суммы величин — аналог теоремы косинусов. Независимость случайных величин как нулевая ковариация произвольных функций. Энтория. Совместная энтропия. Условная энтропия. Кросс-энтропия. Дивергенция Кульбака—Ляйблера.

2024-10-22, лекция 7: Совместная функция распределения. Совместная функция плотности. Снижение размерности. Изменение функции плотности при гладком преобразовании. Критерий независимости величин в терминах функции распределения и в терминах функции плотности. Ожидание от функции. Условная функция плотности. Условное ожидание.

Семинары

2024-09-10, семинар 1: задачи 1.1, 1.6, 3.5 из PP

2024-09-17, семинар 2: задачи 2.1, 2.3, 12.7 из PP, P(X=x | Y=y) и E(X | Y=y) по таблице 2х2

2024-09-24, семинар 3: извлекаем P(X=3), E(X), E(X^2), E(XY) из производящей функции для подбрасывания монетки 10 раз, 28.16 из PP

2024-10-01, семинар 4: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из PP

2024-10-08, семинар 5: Находим Var, Cov, Corr, E по двумерной табличке. Находим Var, Cov, Corr для случайной величины с функцией плотности. Находим дисперсию отрицательного биномиального.

2024-10-15, семинар 6: Находим Var, E для биномиального. Находим энтропию геометрического. По двумерной табличке находим энтропию, совместную энтропию, условную энтропию. Находим кросс-энтропию и дивергенцию Кульбака—Ляйблера исходя из двух функций плотности. Как связаны энтропия величины с функцией плотности и энтропия дискретной величины, получаемой из исходной округлением с точностью до 1/n?

2024-10-22, семинар 7: 16.18, 16.23а, 16.17а, свёртка двух экспоненциальных величин.

Источники

Источники мудрости, которые я постарался не замутить :)

WTSK: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.

BItP: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.