Просмотр исходного текста страницы Дополнительные главы теории вероятностей и математической статистики (факультативы)

== Организационные моменты ==
Оба факультатива читает [https://www.hse.ru/org/persons/161322763 Шабанов Дмитрий Александрович]. 

'''Пререквизиты:''' знание теории вероятностей/математической статистики (в качестве ориентира можно взять программу пилотного потока).

=== Программы курсов ===
'''Предупреждение:''' программы примерные и могут корректироваться в зависимости от успеваемости студентов.

[https://www.dropbox.com/s/icupaq9hoqfnha0/%D0%94%D0%93%D0%A2%D0%92_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0.pdf?dl=0 Программа факультатива "Дополнительные главы теории вероятностей"]

[https://www.dropbox.com/s/vc9i97574aev0p7/%D0%94%D0%93%D0%9C%D0%A1_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0.pdf?dl=0 Программа факультатива "Дополнительные главы математической статистики"]

=== Время проведения ===
Небольшое уточнение: время проведения факультативов может измениться. Изменения будут внесены на страницу.
{| class="wikitable" style="text-align:center"
|-
! Факультатив !! Время проведения
|-
|| ДГТВ || вторник, 15:10-18:00
|-
|| ДГМС || пятница, 15:10-18:10
|}

=== Устройство курсов ===
Каждую неделю читаются лекции на полторы-две пары, семинаров не предусмотрено. Эпизодически выдаются домашние задания на 8-10 задач, которые сдаются лектору и разбираются на лекциях.

== Краткое содержание лекций ==

=== ДГМС ===

'''Лекция 1''' (19.01.2018). Задача математической статистики в общем случае. Примеры: проверка гипотез, точечное и интервальное оценивание параметров, проверка независимости и одинаковой распределённости. Оценки и их свойства: несмещённость, состоятельность, сильная состоятельность, асимптотическая нормальность. Общая идея построения оценок. Эмпирическая функция распределения. L- и M-оценки. Метод моментов, его сильная состоятельность и асимптотическая нормальность. Метод выборочных квантилей и его асимптотическая нормальность. Выборочная медиана.

'''Лекция 2''' (26.01.2018). Основные методы сравнения оценок. Равномерный подход. Байесовский подход и однорукий бандит. Мнимаксный подход. Их связь. Асимптотический подход. Условия регулярности. Неравенство Рао-Крамера. Информация Фишера и её свойства. Матричное неравенство Коши-Буняковского-Шварца. Многомерное неравенство Рао-Крамера.

'''Лекция 3''' (02.02.2018). Функция правдоподобия. Оценка по методу максимального правдоподобия, примеры. Условия регулярности. Экстремальное свойство правдоподобия. Состоятельность оценки максимального правдоподобия при конечном наборе параметров. Состоятельность решения уравнения правдоподобия и проблемы, связанные с этой теоремой. Асимптотическая нормальность решения уравнения правдоподобия. Теорема Бахадура (формулировка) и пример, в котором ограничение асимптотической дисперсии выполнено не везде.

'''Лекция 4''' (09.02.2018). Теорема Бахадура (доказательство). Условия регулярности для её выполнения. Равномерная интегрируемость случайных величин. Асимптотическая эффективность оценки. Асимптотическая эффективность оценки максимального правдоподобия. Критерий эффективности оценки и оценки максимального правдоподобия. Априорная и апостериорная плотность распределения параметра. Байесовская оценка параметра. Теорема о наилучшем квадратичном прогнозе.

'''Лекция 5''' (16.02.2018). Теорема о наилучшей оценке в байесовском подходе. Примеры нахождения байесовской оценки для выборки из равномерного распределения с неизвестной верхней границей. Минимаксный подход. Достаточное условие минимаксности оценки. Достаточное условие минимаксности байесовской оценки. Примеры нахождения минимаксных оценок для выборок из распределения Бернулли. Достаточное условие минимаксности оценки через последовательность вероятностных мер. Пример применения критерия для выборки из нормального распределения с неизвестным математическим ожиданием.

'''Лекция 6''' (02.03.2018). Разбор домашнего задания 1.

'''Лекция 7''' (09.03.2018). Достаточное условие минимума многомерной функции. Оптимальные оценки. Достаточные статистики и их смысл. Теорема Колмогорова-Блэкуэлла-Рао в одномерном и многомерном случаях. Достаточное условие оптимальности оценки. Полные статистики. Теорема об оптимальной оценке. Пример вычисления полной и достатоной статистики для распределения Бернулли. Критерий факторизации Неймана-Фишера в одномерном дискретном случае. Абсолютная непрерывность одной вероятностной меры относительно другой, примеры. Теорема Радона-Никодима (б/д). Производная Радона-Никодима. Пересчёт условных математических ожиданий.

'''Лекция 8''' (16.03.2018). Доказательство критерия факторизации Неймана-Фишера в непрерывном случае. Пример применения критерия: оптимальная оценка верхней границы в равномерном распределении. Вычисление условного математического ожидания с помощью полных достаточных статистик. Экспоненциальное семейство распределений. Теорема об экспоненциальном семействе. Теорема единственности аналитической функции комплексной переменной (формулировка и идея доказательства). Пример применения теоремы: оптимальные оценки для нормального распределения.

'''Лекция 9''' (09.04.2018). Линейная регрессия: определение, примеры с оценкой параметров нормального распределения и оценка начального положения и скорости тела, движущегося по прямой без ускорения. Оценка по методу наименьших квадратов. Свойства оценки МНК: замкнутая формула, матожидание и дисперсия, оптимальность в классе линейных несмещённых оценкой. Гауссовская линейная регрессия, полная и достаточная статистика для её параметров.

'''Лекция 10''' (16.04.2018). Завершение доказательства утверждения про полные и достаточные статистики для параметров линейной регрессии. Распределение хи-квадрат. Теорема об ортогональных разложениях. Доверительные интервалы и области. Доверительный интервал для σ^2. Распределения Стьюдента и Фишера. Доверительный интервал для компоненты вектора θ и доверительная область для вектора θ. Гипотезы и методология проверки гипотез. Критерии. Ошибки первого и второго рода. Функция мощности. Асимптотические критерии. 

'''Лекция 11''' (23.04.2018) Правила принятия критерия, меры качества: уровень значимости, размер критерия. Несмещённость и состоятельность критериев. Сравнение критериев по мощности и равномерно наиболее мощный критерий. Простые гипотезы. Лемма Неймана-Пирсона и её доказательство. Несмещённость критерия из леммы Неймана-Пирсона. Семейство с монотонным отношением правдоподобия по некоторой статистике. Теорема о монотонном отношении правдоподобия. Примеры её применения. 

'''Лекция 12''' (14.05.2018). 

'''Лекция 13''' (21.05.2018). Параметрический критерий хи-квадрат. Условия регулярности для данного критерия. Доказательство критерия.

'''Лекция 14''' (28.05.2018). Эмпирическая функция распределения. Теорема Гливенко-Кантелли и её доказательство. Эмпирическая вероятностная мера и контрпример к попытке обобщения теоремы Гливенко-Кантелли. Теорема Колмогорова (формулировка) и распределение Колмогорова. Доказательство первой части теоремы Колмогорова. Критерий Колмогорова и его свойства. Идея доказательства второй части теоремы Колмогорова. Случайное блуждание, винеровский процесс и броуновский мост.

'''Лекция 15''' (04.06.2018). Метрическое пространство. Борелевская сигма-алгебра на метрическом пространстве. Слабая сходимость вероятностных мер. Теорема Александрова. Цилиндрические сигма-алгебры на пространстве действительнозначных функций на [0, 1]. Почему необходимо сужать пространство до пространства непрерывных действительнозначных функций на [0, 1]. Равенство борелевской и цилиндрической сигма-алгебр для С[0, 1]. Сходимость случайных процессов по распределению. Теорема о наследовании сходимости для случайных процессов. Принцип инвариантности Донскера-Прохорова (без доказательства). Применение принципа инвариантности для доказательства теоремы Колмогорова. Броуновский мост.

== Домашние задания ==

=== ДГМС ===
{| class="wikitable" style="text-align:center"
|-
! ДЗ !! Тема || Дедлайн || Результаты
|-
|| [https://www.dropbox.com/s/8f2i7qq4t3d8fv4/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_1_%D0%9C%D0%A1.pdf?dl=0 ДЗ 1] || Свойства оценок || 2 марта || [https://www.dropbox.com/s/gtic07b3hcm8n0n/%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B_%D0%94%D0%97.pdf?dl=0 Ссылка]
|-
|| [https://www.dropbox.com/s/6dlo1dbn8jgz5if/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_2_%D0%9C%D0%A1.pdf?dl=0 ДЗ 2] || Оптимальные, байесовские и минимаксные оценки || 14 мая || [https://www.dropbox.com/s/27wfiolb5ogz6p4/%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B_%D0%94%D0%97_2.pdf?dl=0 Ссылка]
|-
|| [https://www.dropbox.com/s/sl0bicqlruqgycd/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_3_%D0%9C%D0%A1.pdf?dl=0 ДЗ 3] || Проверка гипотез и доверительное оценивание || 15 июня || [https://www.dropbox.com/s/wekkhw0dw6i1wsv/%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B_%D0%94%D0%97.pdf?dl=0 Ссылка]
|}

=== ДГТВ ===
{| class="wikitable" style="text-align:center"
|-
! ДЗ !! Тема || Дедлайн || Результаты
|-
|| [https://www.dropbox.com/s/utmned5dp3bpdxf/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_1_%D0%A2%D0%92.pdf?dl=0 ДЗ 1] || Простейшее случайное блуждание || 27 февраля || [https://www.dropbox.com/s/srj22xl1615uz4g/%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B_%D0%94%D0%97.pdf?dl=0 Ссылка]
|-
|| [https://www.dropbox.com/s/j6mcr51jdtau2md/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_2_%D0%A2%D0%92.pdf?dl=0 ДЗ 2] || Ветвящиеся процессы || 20 марта || [https://www.dropbox.com/s/wiagblqlkqtbmd9/%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B_%D0%94%D0%97_2.pdf?dl=0 Ссылка]
|-
|| [https://www.dropbox.com/s/iovewly0pfstlgx/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_3_%D0%A2%D0%92.pdf?dl=0 ДЗ 3] || Случайные графы || 23 апреля || [https://www.dropbox.com/s/q65j4qc0cd966wb/%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B_%D0%94%D0%97_3.pdf?dl=0 Ссылка]
|-
|| [https://www.dropbox.com/s/nf86hbmwbhiv0y9/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8_4_%D0%A2%D0%92.pdf?dl=0 ДЗ 4] || Мартингалы и пуассоновский процесс || 4 июня || [https://www.dropbox.com/s/va07nnhdvb6ea64/%D0%A0%D0%B5%D0%B7%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D1%8B_%D0%94%D0%97_%D0%A2%D0%92_2018.pdf?dl=0 Ссылка]
|}

== Экзамены ==
'''Формат экзамена:''' студент выбирает билет из списка вопросов, после чего готовится и устно рассказывает его преподавателю.

{| class="wikitable" style="text-align:center"
|-
! Факультатив !! Время проведения !! Аудитория !! Список вопросов к зкзамену
|-
|| ДГТВ || 23 июня || TBA || [https://www.dropbox.com/s/ycm81g4ch4icc5w/%D0%92%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%8B_%D0%BF%D0%BE_%D1%84%D0%B0%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D0%B8%D0%B2%D1%83_%D0%94%D0%93%D0%A2%D0%92_2018.pdf?dl=0 Ссылка]
|-
|| ДГМС || 20 июня || TBA || [https://www.dropbox.com/s/77sy32vke15c5sj/%D0%92%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%8B_%D0%BA_%D1%8D%D0%BA%D0%B7%D0%B0%D0%BC%D0%B5%D0%BD%D1%83_%D0%94%D0%BE%D0%BF_%D0%B3%D0%BB%D0%B0%D0%B2%D1%8B_%D0%9C%D0%A1.pdf?dl=0 Ссылка]
|}

== Список литературы ==
=== ДГТВ ===
* [https://www.dropbox.com/sh/5lxaheg89isd6h9/AABifvMGLQPmLLzHOiqfaTOLa?dl=0&preview=probability-theory_16-17_2course_raidboss.pdf Конспекты прошлого года]
* Ширяев А. Н. Вероятность
* Bollobás B. Random Graphs
* Janson S., Luczak T., Rucinski A. Random Graphs

=== ДГМС ===
* Боровков А.А. Математическая статистика
* Леман Э. Проверка статистических гипотез

== Ссылки прошлых лет ==
[http://wiki.cs.hse.ru/%D0%94%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D0%B3%D0%BB%D0%B0%D0%B2%D1%8B_%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D0%B8_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9_(%D1%84%D0%B0%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D0%B0%D1%82%D0%B8%D0%B2,_2017) Дополнительные главы теории вероятностей, 2017]