Теория вероятностей КНАД 24/25 — различия между версиями
Bdemeshev (обсуждение | вклад) (→Учебные материалы) |
Bdemeshev (обсуждение | вклад) |
||
| (не показано 12 промежуточных версии этого же участника) | |||
| Строка 18: | Строка 18: | ||
=== Домашние задания для самураев === | === Домашние задания для самураев === | ||
| − | [https://github.com/bdemeshev/hse_knad_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf Домашние задания | + | Домашние задания [https://github.com/bdemeshev/hse_knad_probability_2024_2025/raw/main/home_assignments/home_assignments.pdf одним файлом] и [https://github.com/bdemeshev/hse_knad_probability_2024_2025/tree/main/home_assignments папочкой]. |
| − | В конце каждой лекции (за исключением ближайших к экзамену лекций) | + | Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций) |
выдается домашнее задание сроком на две недели. | выдается домашнее задание сроком на две недели. | ||
Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа. | Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа. | ||
| Строка 37: | Строка 37: | ||
При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется. | При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется. | ||
| − | Экзамен | + | '''Контрольная-2:''' |
| + | |||
| + | 2024-12-16, понедельник, 18:10-20:10 + 10 минут, можно один чит-шит А4 любого содержания. | ||
| + | |||
| + | |||
| + | '''Экзамен''' | ||
| + | |||
| + | 2024-12-23, понедельник, 10:00-16:00 | ||
| + | |||
| + | орг правила следующие: | ||
| + | |||
| + | 1. ~10:00-10:40 | ||
| + | в начале будет письменный тест с прокторингом и автоматической проверкой | ||
| + | |||
| + | 2. ~11:40 (ориентировочно) | ||
| + | по результатам появится дефолтная оценка за экзамен (0-8). | ||
| + | |||
| + | 3. ~12:00 | ||
| + | получившие дефолтную 0-6 наслаждаются свободой :) | ||
| + | |||
| + | получившие дефолтную 7 или 8 должны принять решение, соглашаются ли они с оценкой или храбро идут бороться устно за более высокий балл. | ||
| + | |||
| + | 4. ~12:00-16:00 | ||
| + | храбрецы с дефолтной 7 или 8 получают от 6 до 10 за экзамен | ||
== Учебные материалы == | == Учебные материалы == | ||
| Строка 55: | Строка 78: | ||
Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK] | Можно глянуть: главы 2.1 и 7 из [https://arxiv.org/pdf/1411.5279 WTSK] | ||
| + | |||
| + | 2024-09-17, лекция 2: Метод первого шага. Разложение случайной величины в сумму. Определение условной вероятности и условного ожидания (по событию). | ||
| + | Формула полной вероятности. Формула Байеса. Независимость пары событий. Независимость набора событий в совокупности. | ||
| + | |||
| + | 2024-09-24, лекция 3: Независимость случайных величин. Критерии независимости случайных величин. Идея производящих функций: описать множество с помощью функцию, | ||
| + | извлечь нужную информацию из функции с помощью подстановок и производных. Как извлечь P(X=3), E(X), E(X^2), E(XY) из производящей функции исходов. | ||
| + | Определение функции, производящей вероятности. Определение функции, производящей моменты. | ||
| + | |||
| + | 2024-10-01, лекция 4: Основные дискретные распределения: биномиальное, отрицитальное биномиальное, геометрическое, гипергеометрическое. | ||
| + | Описание случайной величины с помощью равномерного выбора точки на подмножестве в R^n. | ||
| + | Определение функции плотности как линейной части вероятности попадания в отрезок. | ||
| + | LOTUS: нахождение ожидания от функции случайной величины. | ||
| + | |||
| + | 2024-10-08, лекция 5: Смешанная случайная величина. Геометрия случайных величин, порождаемая E(XY). Дисперсия. Стандартное отклонение. Ковариация. Корреляция. | ||
| + | |||
| + | 2024-10-15, лекция 6: Ковариация — скалярное произведение на множестве случайных величин. Корреляция — аналог косинуса угла между случайными величинами. Дисперсия суммы величин — аналог теоремы косинусов. | ||
| + | Независимость случайных величин как нулевая ковариация произвольных функций. Энтория. Совместная энтропия. Условная энтропия. Кросс-энтропия. Дивергенция Кульбака—Ляйблера. | ||
| + | |||
| + | 2024-10-22, лекция 7: Совместная функция распределения. Совместная функция плотности. Снижение размерности. Изменение функции плотности при гладком преобразовании. | ||
| + | Критерий независимости величин в терминах функции распределения и в терминах функции плотности. Ожидание от функции. Условная функция плотности. Условное ожидание. | ||
| + | |||
| + | 2024-11-05, лекция 8: Пуассоновское распределение как предел биномиального. Аксиомы пуассоновского потока. Следствия из аксиом (с частичным доказательством): количество событий за промежуток времени распределено по Пуассону. Время между происшествиями распределено экспоненциально. Сумма двух пуассоновских потоков — пуассоновский поток. | ||
| + | |||
| + | 2024-11-12, лекция 9: Совместное распределение отношений времени и общего времени. Гамма-распределение как сумма экспоненциальных. Гамма-функция. Обобщение гамма-распределения на случай нецелого параметра. Ожидание и дисперсия гамма-распределения. | ||
| + | |||
| + | 2024-11-19, лекция 10: Бета-распределение как закон распределения порядковой статистики равномерных величин. Бета-функция. Обобщение бета-распределения на случайных нецелых параметров. Ожидание и дисперсия бета-распределения. Бета-распределение как отношение двух зависимых гамма-распределений. Соотношение между бета и гамма-функциями. | ||
| + | |||
| + | 2024-11-26, лекция 11: Предпосылки Гаусса. Вывод нормального распределения из предпосылок Гаусса. Вывод константы впереди интеграл путём интегрирования двумерного нормального распределения. Параметризация с помощью точности и с помощью дисперсии. | ||
| + | |||
| + | 2024-12-03, лекция 12: От многомерного стандартного нормального к многомерному нормальному. Свойства векторного ожидания и ковариационных матриц. | ||
| + | Функция плотности многомерного нормального распределения в невырожденном случае. Функция производящая моменты для многомерного нормального распределения. | ||
| + | Фурмула Иссерлиса для нахождения моментов. | ||
| + | |||
=== Семинары === | === Семинары === | ||
2024-09-10, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP] | 2024-09-10, семинар 1: задачи 1.1, 1.6, 3.5 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP] | ||
| + | |||
| + | 2024-09-17, семинар 2: задачи 2.1, 2.3, 12.7 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP], P(X=x | Y=y) и E(X | Y=y) по таблице 2х2 | ||
| + | |||
| + | 2024-09-24, семинар 3: извлекаем P(X=3), E(X), E(X^2), E(XY) из производящей функции для подбрасывания монетки 10 раз, 28.16 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP] | ||
| + | |||
| + | 2024-10-01, семинар 4: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из [https://raw.githubusercontent.com/bdemeshev/probability_pro/master/probability_pro.pdf PP] | ||
| + | |||
| + | 2024-10-08, семинар 5: Находим Var, Cov, Corr, E по двумерной табличке. Находим Var, Cov, Corr для случайной величины с функцией плотности. Находим дисперсию отрицательного биномиального. | ||
| + | |||
| + | 2024-10-15, семинар 6: Находим Var, E для биномиального. Находим энтропию геометрического. По двумерной табличке находим энтропию, совместную энтропию, условную энтропию. | ||
| + | Находим кросс-энтропию и дивергенцию Кульбака—Ляйблера исходя из двух функций плотности. Как связаны энтропия величины с функцией плотности и энтропия дискретной величины, получаемой из исходной округлением с точностью до 1/n? | ||
| + | |||
| + | 2024-10-22, семинар 7: 16.18, 16.23а, 16.17а, свёртка двух экспоненциальных величин. | ||
| + | |||
| + | 2024-11-05, семинар 8: 13.1, 13.2, 13.4, 13.5 | ||
| + | |||
| + | 2024-11-12, семинар 9: про гамма | ||
| + | |||
| + | 2024-11-19, семинар 10: про бета | ||
| + | |||
| + | 2024-11-26, семинар 11: 18.1, 18.2, 18.5, обсудили, почему сумма независимых нормальных имеет нормальное распределение | ||
| + | |||
| + | 2024-12-03, семинар 12: 24.10в, 24.17а, 24.16, 24.18, вывели формулу для условного ожидания и условной дисперсии для двумерного нормального | ||
== Источники == | == Источники == | ||
Текущая версия на 20:16, 3 декабря 2024
Содержание
О курсе
Цели и задачи курса
侍には目標がなく道しかない [Samurai niwa mokuhyō ga naku michi shikanai]
У самурая нет цели и ничего кроме пути.
Оценивание
Итоговая оценка за курс = 0.2 Домашние задания + 0.25 Контрольная-1 + 0.25 Контрольная-2 + 0.3 Экзамен
Каждая оценка (суммарный итог за домашние задания, контрольные, экзамен) — целое число от 0 до 100. Для перевода в 10-балльную шкалу итоговой оценки используется деление на 10 с арифметическим округлением.
Домашние задания для самураев
Домашние задания одним файлом и папочкой. Домашние задания имеют равный вес. В конце каждой лекции (за исключением ближайших к экзамену лекций) выдается домашнее задание сроком на две недели. Дедлайн жёсткий, однако студент имеет право просрочить два домашних задания на неделю каждое без штрафа.
Формат сдачи ДЗ: один pdf-файл (решение текстовых задач) и один ipynb-файл (решение компьютерных задач). В pdf-файл можно поместить аккуратно написанное отсканированное решение, а можно скомпилировать pdf из теха или маркдауна. Ещё можно вместо pdf-файла написать всё в ipynb. Бонусов за сдачу домашки в техе нет. Пример шаблона.
Обратите внимание: время каждого дедлайна — 21:00.
Контрольные работы и экзамен
Вес каждой задачи будет написан в тексте работы. Задачи с ненаписанным по случайности весом имеют равный вес. Для пропущенных по уважительной причине контрольных будет выделен один день для переписывания. При пропуске дня переписывания, в том числе по уважительным причинам, ещё одного шанса не предоставляется.
Контрольная-2:
2024-12-16, понедельник, 18:10-20:10 + 10 минут, можно один чит-шит А4 любого содержания.
Экзамен
2024-12-23, понедельник, 10:00-16:00
орг правила следующие:
1. ~10:00-10:40 в начале будет письменный тест с прокторингом и автоматической проверкой
2. ~11:40 (ориентировочно) по результатам появится дефолтная оценка за экзамен (0-8).
3. ~12:00 получившие дефолтную 0-6 наслаждаются свободой :)
получившие дефолтную 7 или 8 должны принять решение, соглашаются ли они с оценкой или храбро идут бороться устно за более высокий балл.
4. ~12:00-16:00 храбрецы с дефолтной 7 или 8 получают от 6 до 10 за экзамен
Учебные материалы
PP: Листки с задачами к курсу.
PDNA: Вероятностная ДНК = вкусные задачи по теории вероятностей.
Рукописи лекций и семинаров
Дневник самурая
2024-09-10, лекция 1: Определение события. Определение случайной величины. Аксиомы вероятности. Определение математического ожидания для дискретного случая. Линейность математического ожидания. Первое знакомоство с перестановочным тестом и p-значением.
Можно глянуть: главы 2.1 и 7 из WTSK
2024-09-17, лекция 2: Метод первого шага. Разложение случайной величины в сумму. Определение условной вероятности и условного ожидания (по событию). Формула полной вероятности. Формула Байеса. Независимость пары событий. Независимость набора событий в совокупности.
2024-09-24, лекция 3: Независимость случайных величин. Критерии независимости случайных величин. Идея производящих функций: описать множество с помощью функцию, извлечь нужную информацию из функции с помощью подстановок и производных. Как извлечь P(X=3), E(X), E(X^2), E(XY) из производящей функции исходов. Определение функции, производящей вероятности. Определение функции, производящей моменты.
2024-10-01, лекция 4: Основные дискретные распределения: биномиальное, отрицитальное биномиальное, геометрическое, гипергеометрическое. Описание случайной величины с помощью равномерного выбора точки на подмножестве в R^n. Определение функции плотности как линейной части вероятности попадания в отрезок. LOTUS: нахождение ожидания от функции случайной величины.
2024-10-08, лекция 5: Смешанная случайная величина. Геометрия случайных величин, порождаемая E(XY). Дисперсия. Стандартное отклонение. Ковариация. Корреляция.
2024-10-15, лекция 6: Ковариация — скалярное произведение на множестве случайных величин. Корреляция — аналог косинуса угла между случайными величинами. Дисперсия суммы величин — аналог теоремы косинусов. Независимость случайных величин как нулевая ковариация произвольных функций. Энтория. Совместная энтропия. Условная энтропия. Кросс-энтропия. Дивергенция Кульбака—Ляйблера.
2024-10-22, лекция 7: Совместная функция распределения. Совместная функция плотности. Снижение размерности. Изменение функции плотности при гладком преобразовании. Критерий независимости величин в терминах функции распределения и в терминах функции плотности. Ожидание от функции. Условная функция плотности. Условное ожидание.
2024-11-05, лекция 8: Пуассоновское распределение как предел биномиального. Аксиомы пуассоновского потока. Следствия из аксиом (с частичным доказательством): количество событий за промежуток времени распределено по Пуассону. Время между происшествиями распределено экспоненциально. Сумма двух пуассоновских потоков — пуассоновский поток.
2024-11-12, лекция 9: Совместное распределение отношений времени и общего времени. Гамма-распределение как сумма экспоненциальных. Гамма-функция. Обобщение гамма-распределения на случай нецелого параметра. Ожидание и дисперсия гамма-распределения.
2024-11-19, лекция 10: Бета-распределение как закон распределения порядковой статистики равномерных величин. Бета-функция. Обобщение бета-распределения на случайных нецелых параметров. Ожидание и дисперсия бета-распределения. Бета-распределение как отношение двух зависимых гамма-распределений. Соотношение между бета и гамма-функциями.
2024-11-26, лекция 11: Предпосылки Гаусса. Вывод нормального распределения из предпосылок Гаусса. Вывод константы впереди интеграл путём интегрирования двумерного нормального распределения. Параметризация с помощью точности и с помощью дисперсии.
2024-12-03, лекция 12: От многомерного стандартного нормального к многомерному нормальному. Свойства векторного ожидания и ковариационных матриц. Функция плотности многомерного нормального распределения в невырожденном случае. Функция производящая моменты для многомерного нормального распределения. Фурмула Иссерлиса для нахождения моментов.
Семинары
2024-09-10, семинар 1: задачи 1.1, 1.6, 3.5 из PP
2024-09-17, семинар 2: задачи 2.1, 2.3, 12.7 из PP, P(X=x | Y=y) и E(X | Y=y) по таблице 2х2
2024-09-24, семинар 3: извлекаем P(X=3), E(X), E(X^2), E(XY) из производящей функции для подбрасывания монетки 10 раз, 28.16 из PP
2024-10-01, семинар 4: 9.3в, 9.4, 9.7(абвд, кроме дисперсии, аргументы масштабирования и центра масс помимо интегралов), 9.11 из PP
2024-10-08, семинар 5: Находим Var, Cov, Corr, E по двумерной табличке. Находим Var, Cov, Corr для случайной величины с функцией плотности. Находим дисперсию отрицательного биномиального.
2024-10-15, семинар 6: Находим Var, E для биномиального. Находим энтропию геометрического. По двумерной табличке находим энтропию, совместную энтропию, условную энтропию. Находим кросс-энтропию и дивергенцию Кульбака—Ляйблера исходя из двух функций плотности. Как связаны энтропия величины с функцией плотности и энтропия дискретной величины, получаемой из исходной округлением с точностью до 1/n?
2024-10-22, семинар 7: 16.18, 16.23а, 16.17а, свёртка двух экспоненциальных величин.
2024-11-05, семинар 8: 13.1, 13.2, 13.4, 13.5
2024-11-12, семинар 9: про гамма
2024-11-19, семинар 10: про бета
2024-11-26, семинар 11: 18.1, 18.2, 18.5, обсудили, почему сумма независимых нормальных имеет нормальное распределение
2024-12-03, семинар 12: 24.10в, 24.17а, 24.16, 24.18, вывели формулу для условного ожидания и условной дисперсии для двумерного нормального
Источники
Источники мудрости, которые я постарался не замутить :)
WTSK: Tim Hesterberg, What Teachers Should Know About the Bootstrap: вкусное и доступное изложение бутстрэпа и перестановочных тестов.
BItP: Blitzstein, Hwang, Introduction to Probability: учебник, записи лекций, гарвардский курс.
