Моделирование временных рядов 20/21 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показано 29 промежуточных версии 2 участников)
Строка 20: Строка 20:
 
[https://github.com/Pyatachokk/hse_ts_course Гитхаб курса]
 
[https://github.com/Pyatachokk/hse_ts_course Гитхаб курса]
  
[https://docs.google.com/spreadsheets/d/1T69SVWNusmmcIIOmYVjfwZY2ADU43HEEllxzWuLtMmE/edit?usp=sharing Таблица с оценками]
+
[https://docs.google.com/spreadsheets/d/1Y5hVJGYCa9reYtMutx2uvusmujTofrW5K5uS8S9hUWM/edit?usp=sharing Таблица с оценками]
  
 
== Боевой листок ==
 
== Боевой листок ==
Строка 47: Строка 47:
 
==== Неделя 4 ====
 
==== Неделя 4 ====
  
[1 октября] Лекция:  
+
[1 октября] Лекция: ETS-модель. Кросс-валидация. [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/01.10.2020.pdf Конспект]
  
 
Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. [https://youtu.be/w_MBMoWJcGA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_4.ipynb Ноутбук]
 
Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. [https://youtu.be/w_MBMoWJcGA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_4.ipynb Ноутбук]
Строка 55: Строка 55:
 
==== Неделя 5 ====
 
==== Неделя 5 ====
  
[15 октября] Лекция:  
+
[15 октября] Лекция: перенос
  
Семинар: Ансамблирование. Лаговые полиномы. AR-процесс, вывод автокорреляции и частной автокорреляции. [https://youtu.be/WlzPAkZnRGg Видео]  
+
Семинар: Ансамблирование. Лаговые полиномы. AR-процесс, вывод автокорреляции и частной автокорреляции. [https://youtu.be/WlzPAkZnRGg Видео]
  
 
==== Неделя 6 ====
 
==== Неделя 6 ====
  
[29 октября] Лекция:  
+
[29 октября] Лекция: ARMA-модель [https://www.youtube.com/watch?v=KpD-YqjMv6o&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=2&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/29.10.2020.pdf Конспект]
  
 
Семинар: MA-процесс. ARMA-процесс. Условие стационарности/стабильности процесса. Примеры симуляций. [https://youtu.be/3Q7YhpFBmWc Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_6.ipynb Ноутбук]
 
Семинар: MA-процесс. ARMA-процесс. Условие стационарности/стабильности процесса. Примеры симуляций. [https://youtu.be/3Q7YhpFBmWc Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_6.ipynb Ноутбук]
Строка 67: Строка 67:
 
==== Неделя 7 ====
 
==== Неделя 7 ====
  
[5 ноября] Лекция: AR-процесс. Теорема о стационарных решениях.
+
[5 ноября] Лекция: AR-процесс. Теорема о стационарных решениях. [https://www.youtube.com/watch?v=HNn6pKCUFuo&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=1&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/05.11.2020.pdf Конспект]
  
 
Семинар: Проблема нестационарности. Модели трендов. Детерминированный и стохастический тренды. ARIMA-модель. [https://youtu.be/dTpReT0ohpw Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_7.ipynb Ноутбук]
 
Семинар: Проблема нестационарности. Модели трендов. Детерминированный и стохастический тренды. ARIMA-модель. [https://youtu.be/dTpReT0ohpw Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_7.ipynb Ноутбук]
Строка 73: Строка 73:
 
==== Неделя 8 ====
 
==== Неделя 8 ====
  
[12 ноября] Лекция:  
+
[12 ноября] Лекция: Общая схема выбора SARIMA-модели. Долгосрочная дисперсия гамма. [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/12.11.2020.pdf Конспект]
  
Семинар: Тестирование нестационарности. ADF-тест. KPSS-тест. Стратегии прогнозирования: прямая и рекурсивная. [https://youtu.be/wylBal05Lc8 Видео]  
+
Семинар: Тестирование нестационарности. ADF-тест. KPSS-тест. Стратегии прогнозирования: прямая и рекурсивная. [https://youtu.be/wylBal05Lc8 Видео]
  
 
==== Неделя 9 ====
 
==== Неделя 9 ====
  
[19 ноября] Лекция:  
+
[19 ноября] Лекция: перенос
  
Семинар: Модели ARIMAX/DL/ADL, тест причинности Гранжера, коинтеграция, особенности стратегий прогнозирования [https://youtu.be/iPSgx4VaJfA Видео]
+
Семинар: Модели ARIMAX/DL/ADL, тест причинности Гранжера, коинтеграция, особенности стратегий прогнозирования [https://youtu.be/iPSgx4VaJfA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_8.ipynb Ноутбук]
  
 
==== Неделя 10 ====
 
==== Неделя 10 ====
  
[26 ноября] Лекция:  
+
[26 ноября] Лекция: закрываем процедуру отбора ARIMA модели, UCM-модель. [https://www.youtube.com/watch?v=Cl_g54KW6C0&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=6&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/26.11.2020.pdf Конспект]
  
Семинар:  
+
Семинар: Составляющие UCM-модели. Симуляции отдельных компонент. [https://youtu.be/tNjGxpWd47E Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_9.ipynb Ноутбук]
 +
 
 +
Восстановленный семинар: Разбор статьи о продвинутых методах кросс-валидации временных рядов. [https://youtu.be/8dT1jPMDbDA Видео] [https://arxiv.org/pdf/1905.11744.pdf Оригинал статьи]
  
 
==== Неделя 11 ====
 
==== Неделя 11 ====
  
[3 декабря] Лекция:  
+
[3 декабря] Лекция: Дискретное преобразование Фурье. [https://www.youtube.com/watch?v=ZUV5BRnYJII&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=5&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/03.12.2020.pdf Конспект]
  
Семинар:  
+
Семинар: Оценка UCM-модели. Общий подход к классификации и кластеризации рядов. [https://youtu.be/i-iFEY1JVcI Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_10.ipynb Ноутбук]
  
 
==== Неделя 12 ====
 
==== Неделя 12 ====
  
[10 декабря] Лекция:  
+
[10 декабря] Лекция: Фильтр Калмана. [https://www.youtube.com/watch?v=nKXJuQiSCYQ&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=4&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/10.12.2020.pdf Конспект]
  
Семинар:
+
Семинар: GARCH-модель. Нелинейные модели (TAR, SETAR, STAR, Markov switching model). [https://youtu.be/lvWMpRhFDw8 Видео] [https://www.statsmodels.org/dev/examples/notebooks/generated/markov_autoregression.html Примеры использования марковской модели]
  
 
==== Неделя 13 ====
 
==== Неделя 13 ====
Строка 105: Строка 107:
 
[17 декабря] Лекция:  
 
[17 декабря] Лекция:  
  
Семинар:  
+
Семинар: VAR и SVAR модели. Impulse response functions. [https://youtu.be/3NmaTzR2enU Видео] [https://www.statsmodels.org/dev/vector_ar.html Пример кода]
  
 +
=== Контрольная работа и экзамен ===
 +
[https://github.com/bdemeshev/tseries_hse_2020_21/raw/main/kr_01/ts_kr_01.pdf контрольная], дропбокс [https://www.dropbox.com/request/ViqJ3JZkHyLwlAqHBSjS для загрузки решений].
  
=== Контрольная работа ===
+
 
[https://github.com/bdemeshev/tseries_hse_2020_21/raw/main/kr_01/ts_kr_01.pdf условие], дропбокс [https://www.dropbox.com/request/ViqJ3JZkHyLwlAqHBSjS для загрузки решений].
+
[https://github.com/bdemeshev/tseries_hse_2020_21/raw/main/exam/ts_exam.pdf экзамен], [https://classroom.github.com/a/KXMv-yP1 git-classroom для решений]
  
 
=== Домашние задания ===
 
=== Домашние задания ===
Строка 166: Строка 170:
 
Выдается: 18.11.2020 01.30
 
Выдается: 18.11.2020 01.30
  
Дедлайн: 04.12.2020 23.00
+
Дедлайн: 05.12.2020 6.00
  
 
'''Домашнее задание 4'''
 
'''Домашнее задание 4'''
  
Модели с ненаблюдаемыми компонентами. Фильтр Калмана.
+
[https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/homeworks-practice/HW_4/HW_4.ipynb Задание]
 +
 
 +
[https://github.com/Pyatachokk/hse_ts_course/tree/master/2020-fall/homeworks-practice/HW_4/M4_sample Данные]
 +
 
 +
Выдаётся: 02.12.2020 02.00
 +
Дедлайн: 16.12.2020 23.00
  
 
=== Итоговая оценка за курс ===
 
=== Итоговая оценка за курс ===

Текущая версия на 17:51, 10 января 2021

О курсе

Курс по выбору для студентов для студентов 3 и 4 курса в 1-2 модулях.

Лектор: Демешев Борис Борисович

Лекции проходят на Покровке по четвергам в ауд. M203 (18:10 - 19:30)

Семинарист: Зехов Матвей Сергеевич

Семинары проходят на Покровке по вторникам в ауд. D504 (09:30 - 10:50)


Полезные ссылки

Телеграм-чат курса

Anytask курса

Гитхаб курса

Таблица с оценками

Боевой листок

Неделя 1

[10 сентября] Лекция: Наивная модель. Оценка параметра. Точечный и интервальный прогноз. Алгоритм DTW.

Семинар: Визуализация рядов, периодичность, тривиальные модели прогнозирования Видео Ноутбук

Дополнительно: видео про DTW

Неделя 2

[17 сентября] Лекция: Наилучшее линейное приближение. Обычная и частная корреляция. Стационарность процесса. Очень краткое введение в МНК. Оценка корреляции. Видео

Семинар: Задача линейной регрессии. Метод наименьших квадратов. Теорема Гаусса-Маркова. Статистические свойства оценок. Автокорреляции. Видео

Неделя 3

[24 сентября] Лекция: Модели ETS. Правдоподобие моделей ETS. видео

Семинар: Модели экспоненциального сглаживания. Модели Хольта-Винтерса. Модели ETS. Видео Ноутбук

Неделя 4

[1 октября] Лекция: ETS-модель. Кросс-валидация. Конспект

Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. Видео Ноутбук

Тестирование гипотез

Неделя 5

[15 октября] Лекция: перенос

Семинар: Ансамблирование. Лаговые полиномы. AR-процесс, вывод автокорреляции и частной автокорреляции. Видео

Неделя 6

[29 октября] Лекция: ARMA-модель Видео Конспект

Семинар: MA-процесс. ARMA-процесс. Условие стационарности/стабильности процесса. Примеры симуляций. Видео Ноутбук

Неделя 7

[5 ноября] Лекция: AR-процесс. Теорема о стационарных решениях. Видео Конспект

Семинар: Проблема нестационарности. Модели трендов. Детерминированный и стохастический тренды. ARIMA-модель. Видео Ноутбук

Неделя 8

[12 ноября] Лекция: Общая схема выбора SARIMA-модели. Долгосрочная дисперсия гамма. Конспект

Семинар: Тестирование нестационарности. ADF-тест. KPSS-тест. Стратегии прогнозирования: прямая и рекурсивная. Видео

Неделя 9

[19 ноября] Лекция: перенос

Семинар: Модели ARIMAX/DL/ADL, тест причинности Гранжера, коинтеграция, особенности стратегий прогнозирования Видео Ноутбук

Неделя 10

[26 ноября] Лекция: закрываем процедуру отбора ARIMA модели, UCM-модель. Видео Конспект

Семинар: Составляющие UCM-модели. Симуляции отдельных компонент. Видео Ноутбук

Восстановленный семинар: Разбор статьи о продвинутых методах кросс-валидации временных рядов. Видео Оригинал статьи

Неделя 11

[3 декабря] Лекция: Дискретное преобразование Фурье. Видео Конспект

Семинар: Оценка UCM-модели. Общий подход к классификации и кластеризации рядов. Видео Ноутбук

Неделя 12

[10 декабря] Лекция: Фильтр Калмана. Видео Конспект

Семинар: GARCH-модель. Нелинейные модели (TAR, SETAR, STAR, Markov switching model). Видео Примеры использования марковской модели

Неделя 13

[17 декабря] Лекция:

Семинар: VAR и SVAR модели. Impulse response functions. Видео Пример кода

Контрольная работа и экзамен

контрольная, дропбокс для загрузки решений.


экзамен, git-classroom для решений

Домашние задания

Общие правила

Домшние задания сдаются в энитаск. Инвайт был выслан в групповой чат.

Мягких дедлайнов нет. Все дедлайны жёсткие.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

В задачах на визуализацию все графики должны иметь оси/заголовки и прочие обязательные атрибуты. При их отсутствии графики оцениваться не будут.

Формат файла для сдачи домашнего задания:

Схема: ДЗ_{Номер домашнего задания}_{Фамилия кириллицей}_{Город (Москва/Петербург)}.ipynb

Пример: ДЗ_1_Зехов_Петербург.ipynb


Домашнее задание 1

Обработка данных. Визуализация. Построение тривиальных моделей прогнозирования.

Выдается: 27.09.2020 18.00

Дедлайн: 09.10.2020 23.00

Задание

Данные

Эталонные данные

Домашнее задание 2

Стабилизация дисперсии. Отбор моделей. Тестирование качества оценки модели. Кросс-валидация.

Задание

Данные

Выдается: 06.10.2020 18.30

Дедлайн: 18.10.2020 23.00

Домашнее задание 3

Модели ARIMA/SARIMA/DL/ADL, стратегии прогнозирования

Задание

Выдается: 18.11.2020 01.30

Дедлайн: 05.12.2020 6.00

Домашнее задание 4

Задание

Данные

Выдаётся: 02.12.2020 02.00 Дедлайн: 16.12.2020 23.00

Итоговая оценка за курс

Итог = 0.4 * ДЗ + 0.3 * КР + 0.3 * Экз

ДЗ — средняя оценка за домашние задания

КР — оценка за контрольную работу

Экз — оценка за письменный экзамен

Литература

  • Tsay R. S. Analysis of financial time series
  • Hyndman R. J., Athanasopoulos G. Forecasting principles and practice, книга написана для языка R, однако можно найти полезные материалы по теории, в частности, по моделям ETS