Моделирование временных рядов 20/21 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показано 48 промежуточных версии 4 участников)
Строка 14: Строка 14:
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
Телеграм-чат курса: https://t.me/joinchat/D7t-fhh536WKWc7kj3Amxw
+
[https://t.me/joinchat/D7t-fhh536WKWc7kj3Amxw Телеграм-чат курса]
  
Anytask курса: https://anytask.org/course/707
+
[https://anytask.org/course/707 Anytask курса]
  
Гитхаб курса: https://github.com/Pyatachokk/hse_ts_course
+
[https://github.com/Pyatachokk/hse_ts_course Гитхаб курса]
 +
 
 +
[https://docs.google.com/spreadsheets/d/1Y5hVJGYCa9reYtMutx2uvusmujTofrW5K5uS8S9hUWM/edit?usp=sharing Таблица с оценками]
  
 
== Боевой листок ==
 
== Боевой листок ==
Строка 24: Строка 26:
 
==== Неделя 1 ====
 
==== Неделя 1 ====
  
Лекция: Наивная модель. Оценка параметра. Точечный и интервальный прогноз. Алгоритм DTW.
+
[10 сентября] Лекция: Наивная модель. Оценка параметра. Точечный и интервальный прогноз. Алгоритм DTW.
  
 
Семинар: Визуализация рядов, периодичность, тривиальные модели прогнозирования [https://www.youtube.com/watch?v=Qmvgjob--0o&feature=youtu.be&ab_channel=ФКНВШЭ—дистанционныезанятия Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_1.ipynb Ноутбук]
 
Семинар: Визуализация рядов, периодичность, тривиальные модели прогнозирования [https://www.youtube.com/watch?v=Qmvgjob--0o&feature=youtu.be&ab_channel=ФКНВШЭ—дистанционныезанятия Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_1.ipynb Ноутбук]
Строка 32: Строка 34:
 
==== Неделя 2 ====
 
==== Неделя 2 ====
  
Лекция: Наилучшее линейное приближение. Обычная и частная корреляция. Стационарность процесса. Очень краткое введение в МНК.  
+
[17 сентября] Лекция: Наилучшее линейное приближение. Обычная и частная корреляция. Стационарность процесса. Очень краткое введение в МНК.  
 
Оценка корреляции. [https://www.youtube.com/watch?v=r-yJXsHrbfo Видео]
 
Оценка корреляции. [https://www.youtube.com/watch?v=r-yJXsHrbfo Видео]
  
Строка 39: Строка 41:
 
==== Неделя 3 ====
 
==== Неделя 3 ====
  
Лекция:
+
[24 сентября] Лекция: Модели ETS. Правдоподобие моделей ETS. [https://youtu.be/F4dv_9sjodY видео]
  
 
Семинар: Модели экспоненциального сглаживания. Модели Хольта-Винтерса. Модели ETS. [https://youtu.be/KU75dnwChCY Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_3.ipynb Ноутбук]
 
Семинар: Модели экспоненциального сглаживания. Модели Хольта-Винтерса. Модели ETS. [https://youtu.be/KU75dnwChCY Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_3.ipynb Ноутбук]
  
 +
==== Неделя 4 ====
 +
 +
[1 октября] Лекция: ETS-модель. Кросс-валидация. [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/01.10.2020.pdf Конспект]
 +
 +
Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. [https://youtu.be/w_MBMoWJcGA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_4.ipynb Ноутбук]
 +
 +
[https://youtu.be/tyWPLaz8t6o Тестирование гипотез]
 +
 +
==== Неделя 5 ====
 +
 +
[15 октября] Лекция: перенос
 +
 +
Семинар: Ансамблирование. Лаговые полиномы. AR-процесс, вывод автокорреляции и частной автокорреляции. [https://youtu.be/WlzPAkZnRGg Видео]
 +
 +
==== Неделя 6 ====
 +
 +
[29 октября] Лекция: ARMA-модель [https://www.youtube.com/watch?v=KpD-YqjMv6o&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=2&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/29.10.2020.pdf Конспект]
 +
 +
Семинар: MA-процесс. ARMA-процесс. Условие стационарности/стабильности процесса. Примеры симуляций. [https://youtu.be/3Q7YhpFBmWc Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_6.ipynb Ноутбук]
 +
 +
==== Неделя 7 ====
 +
 +
[5 ноября] Лекция: AR-процесс. Теорема о стационарных решениях. [https://www.youtube.com/watch?v=HNn6pKCUFuo&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=1&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/05.11.2020.pdf Конспект]
 +
 +
Семинар: Проблема нестационарности. Модели трендов. Детерминированный и стохастический тренды. ARIMA-модель. [https://youtu.be/dTpReT0ohpw Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_7.ipynb Ноутбук]
 +
 +
==== Неделя 8 ====
 +
 +
[12 ноября] Лекция: Общая схема выбора SARIMA-модели. Долгосрочная дисперсия гамма. [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/12.11.2020.pdf Конспект]
 +
 +
Семинар: Тестирование нестационарности. ADF-тест. KPSS-тест. Стратегии прогнозирования: прямая и рекурсивная. [https://youtu.be/wylBal05Lc8 Видео]
 +
 +
==== Неделя 9 ====
 +
 +
[19 ноября] Лекция: перенос
 +
 +
Семинар: Модели ARIMAX/DL/ADL, тест причинности Гранжера, коинтеграция, особенности стратегий прогнозирования [https://youtu.be/iPSgx4VaJfA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_8.ipynb Ноутбук]
 +
 +
==== Неделя 10 ====
 +
 +
[26 ноября] Лекция: закрываем процедуру отбора ARIMA модели, UCM-модель. [https://www.youtube.com/watch?v=Cl_g54KW6C0&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=6&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/26.11.2020.pdf Конспект]
 +
 +
Семинар: Составляющие UCM-модели. Симуляции отдельных компонент. [https://youtu.be/tNjGxpWd47E Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_9.ipynb Ноутбук]
 +
 +
Восстановленный семинар: Разбор статьи о продвинутых методах кросс-валидации временных рядов. [https://youtu.be/8dT1jPMDbDA Видео] [https://arxiv.org/pdf/1905.11744.pdf Оригинал статьи]
 +
 +
==== Неделя 11 ====
 +
 +
[3 декабря] Лекция: Дискретное преобразование Фурье. [https://www.youtube.com/watch?v=ZUV5BRnYJII&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=5&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/03.12.2020.pdf Конспект]
 +
 +
Семинар: Оценка UCM-модели. Общий подход к классификации и кластеризации рядов. [https://youtu.be/i-iFEY1JVcI Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_10.ipynb Ноутбук]
 +
 +
==== Неделя 12 ====
 +
 +
[10 декабря] Лекция: Фильтр Калмана. [https://www.youtube.com/watch?v=nKXJuQiSCYQ&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=4&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/10.12.2020.pdf Конспект]
 +
 +
Семинар: GARCH-модель. Нелинейные модели (TAR, SETAR, STAR, Markov switching model). [https://youtu.be/lvWMpRhFDw8 Видео] [https://www.statsmodels.org/dev/examples/notebooks/generated/markov_autoregression.html Примеры использования марковской модели]
 +
 +
==== Неделя 13 ====
 +
 +
[17 декабря] Лекция:
 +
 +
Семинар: VAR и SVAR модели. Impulse response functions. [https://youtu.be/3NmaTzR2enU Видео] [https://www.statsmodels.org/dev/vector_ar.html Пример кода]
 +
 +
=== Контрольная работа и экзамен ===
 +
[https://github.com/bdemeshev/tseries_hse_2020_21/raw/main/kr_01/ts_kr_01.pdf контрольная], дропбокс [https://www.dropbox.com/request/ViqJ3JZkHyLwlAqHBSjS для загрузки решений].
 +
 +
 +
[https://github.com/bdemeshev/tseries_hse_2020_21/raw/main/exam/ts_exam.pdf экзамен], [https://classroom.github.com/a/KXMv-yP1 git-classroom для решений]
  
 
=== Домашние задания ===
 
=== Домашние задания ===
Строка 81: Строка 152:
 
'''Домашнее задание 2'''
 
'''Домашнее задание 2'''
  
Предварительная обработка данных. Тривиальные модели прогнозирования. Модель ETS.
+
Стабилизация дисперсии. Отбор моделей. Тестирование качества оценки модели. Кросс-валидация.
 +
 
 +
[https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/homeworks-practice/HW_2/HW_2.ipynb Задание]
 +
 
 +
[https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/homeworks-practice/HW_2/hw_data.csv Данные]
 +
 
 +
Выдается: 06.10.2020 18.30
 +
 
 +
Дедлайн: 18.10.2020 23.00
  
 
'''Домашнее задание 3'''
 
'''Домашнее задание 3'''
  
Модели ARIMA/SARIMA
+
Модели ARIMA/SARIMA/DL/ADL, стратегии прогнозирования
 +
 
 +
[https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/homeworks-practice/HW_3/HW_3.ipynb Задание]
 +
 
 +
Выдается: 18.11.2020 01.30
 +
 
 +
Дедлайн: 05.12.2020 6.00
  
 
'''Домашнее задание 4'''
 
'''Домашнее задание 4'''
  
Модели с ненаблюдаемыми компонентами. Фильтр Калмана.
+
[https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/homeworks-practice/HW_4/HW_4.ipynb Задание]
 +
 
 +
[https://github.com/Pyatachokk/hse_ts_course/tree/master/2020-fall/homeworks-practice/HW_4/M4_sample Данные]
 +
 
 +
Выдаётся: 02.12.2020 02.00
 +
Дедлайн: 16.12.2020 23.00
  
 
=== Итоговая оценка за курс ===
 
=== Итоговая оценка за курс ===

Текущая версия на 17:51, 10 января 2021

О курсе

Курс по выбору для студентов для студентов 3 и 4 курса в 1-2 модулях.

Лектор: Демешев Борис Борисович

Лекции проходят на Покровке по четвергам в ауд. M203 (18:10 - 19:30)

Семинарист: Зехов Матвей Сергеевич

Семинары проходят на Покровке по вторникам в ауд. D504 (09:30 - 10:50)


Полезные ссылки

Телеграм-чат курса

Anytask курса

Гитхаб курса

Таблица с оценками

Боевой листок

Неделя 1

[10 сентября] Лекция: Наивная модель. Оценка параметра. Точечный и интервальный прогноз. Алгоритм DTW.

Семинар: Визуализация рядов, периодичность, тривиальные модели прогнозирования Видео Ноутбук

Дополнительно: видео про DTW

Неделя 2

[17 сентября] Лекция: Наилучшее линейное приближение. Обычная и частная корреляция. Стационарность процесса. Очень краткое введение в МНК. Оценка корреляции. Видео

Семинар: Задача линейной регрессии. Метод наименьших квадратов. Теорема Гаусса-Маркова. Статистические свойства оценок. Автокорреляции. Видео

Неделя 3

[24 сентября] Лекция: Модели ETS. Правдоподобие моделей ETS. видео

Семинар: Модели экспоненциального сглаживания. Модели Хольта-Винтерса. Модели ETS. Видео Ноутбук

Неделя 4

[1 октября] Лекция: ETS-модель. Кросс-валидация. Конспект

Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. Видео Ноутбук

Тестирование гипотез

Неделя 5

[15 октября] Лекция: перенос

Семинар: Ансамблирование. Лаговые полиномы. AR-процесс, вывод автокорреляции и частной автокорреляции. Видео

Неделя 6

[29 октября] Лекция: ARMA-модель Видео Конспект

Семинар: MA-процесс. ARMA-процесс. Условие стационарности/стабильности процесса. Примеры симуляций. Видео Ноутбук

Неделя 7

[5 ноября] Лекция: AR-процесс. Теорема о стационарных решениях. Видео Конспект

Семинар: Проблема нестационарности. Модели трендов. Детерминированный и стохастический тренды. ARIMA-модель. Видео Ноутбук

Неделя 8

[12 ноября] Лекция: Общая схема выбора SARIMA-модели. Долгосрочная дисперсия гамма. Конспект

Семинар: Тестирование нестационарности. ADF-тест. KPSS-тест. Стратегии прогнозирования: прямая и рекурсивная. Видео

Неделя 9

[19 ноября] Лекция: перенос

Семинар: Модели ARIMAX/DL/ADL, тест причинности Гранжера, коинтеграция, особенности стратегий прогнозирования Видео Ноутбук

Неделя 10

[26 ноября] Лекция: закрываем процедуру отбора ARIMA модели, UCM-модель. Видео Конспект

Семинар: Составляющие UCM-модели. Симуляции отдельных компонент. Видео Ноутбук

Восстановленный семинар: Разбор статьи о продвинутых методах кросс-валидации временных рядов. Видео Оригинал статьи

Неделя 11

[3 декабря] Лекция: Дискретное преобразование Фурье. Видео Конспект

Семинар: Оценка UCM-модели. Общий подход к классификации и кластеризации рядов. Видео Ноутбук

Неделя 12

[10 декабря] Лекция: Фильтр Калмана. Видео Конспект

Семинар: GARCH-модель. Нелинейные модели (TAR, SETAR, STAR, Markov switching model). Видео Примеры использования марковской модели

Неделя 13

[17 декабря] Лекция:

Семинар: VAR и SVAR модели. Impulse response functions. Видео Пример кода

Контрольная работа и экзамен

контрольная, дропбокс для загрузки решений.


экзамен, git-classroom для решений

Домашние задания

Общие правила

Домшние задания сдаются в энитаск. Инвайт был выслан в групповой чат.

Мягких дедлайнов нет. Все дедлайны жёсткие.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

В задачах на визуализацию все графики должны иметь оси/заголовки и прочие обязательные атрибуты. При их отсутствии графики оцениваться не будут.

Формат файла для сдачи домашнего задания:

Схема: ДЗ_{Номер домашнего задания}_{Фамилия кириллицей}_{Город (Москва/Петербург)}.ipynb

Пример: ДЗ_1_Зехов_Петербург.ipynb


Домашнее задание 1

Обработка данных. Визуализация. Построение тривиальных моделей прогнозирования.

Выдается: 27.09.2020 18.00

Дедлайн: 09.10.2020 23.00

Задание

Данные

Эталонные данные

Домашнее задание 2

Стабилизация дисперсии. Отбор моделей. Тестирование качества оценки модели. Кросс-валидация.

Задание

Данные

Выдается: 06.10.2020 18.30

Дедлайн: 18.10.2020 23.00

Домашнее задание 3

Модели ARIMA/SARIMA/DL/ADL, стратегии прогнозирования

Задание

Выдается: 18.11.2020 01.30

Дедлайн: 05.12.2020 6.00

Домашнее задание 4

Задание

Данные

Выдаётся: 02.12.2020 02.00 Дедлайн: 16.12.2020 23.00

Итоговая оценка за курс

Итог = 0.4 * ДЗ + 0.3 * КР + 0.3 * Экз

ДЗ — средняя оценка за домашние задания

КР — оценка за контрольную работу

Экз — оценка за письменный экзамен

Литература

  • Tsay R. S. Analysis of financial time series
  • Hyndman R. J., Athanasopoulos G. Forecasting principles and practice, книга написана для языка R, однако можно найти полезные материалы по теории, в частности, по моделям ETS