Моделирование временных рядов 20/21 — различия между версиями
Bdemeshev (обсуждение | вклад) |
|||
(не показаны 43 промежуточные версии 4 участников) | |||
Строка 14: | Строка 14: | ||
=== Полезные ссылки === | === Полезные ссылки === | ||
− | + | [https://t.me/joinchat/D7t-fhh536WKWc7kj3Amxw Телеграм-чат курса] | |
− | + | [https://anytask.org/course/707 Anytask курса] | |
− | + | [https://github.com/Pyatachokk/hse_ts_course Гитхаб курса] | |
+ | |||
+ | [https://docs.google.com/spreadsheets/d/1Y5hVJGYCa9reYtMutx2uvusmujTofrW5K5uS8S9hUWM/edit?usp=sharing Таблица с оценками] | ||
== Боевой листок == | == Боевой листок == | ||
Строка 24: | Строка 26: | ||
==== Неделя 1 ==== | ==== Неделя 1 ==== | ||
− | Лекция: Наивная модель. Оценка параметра. Точечный и интервальный прогноз. Алгоритм DTW. | + | [10 сентября] Лекция: Наивная модель. Оценка параметра. Точечный и интервальный прогноз. Алгоритм DTW. |
Семинар: Визуализация рядов, периодичность, тривиальные модели прогнозирования [https://www.youtube.com/watch?v=Qmvgjob--0o&feature=youtu.be&ab_channel=ФКНВШЭ—дистанционныезанятия Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_1.ipynb Ноутбук] | Семинар: Визуализация рядов, периодичность, тривиальные модели прогнозирования [https://www.youtube.com/watch?v=Qmvgjob--0o&feature=youtu.be&ab_channel=ФКНВШЭ—дистанционныезанятия Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_1.ipynb Ноутбук] | ||
Строка 32: | Строка 34: | ||
==== Неделя 2 ==== | ==== Неделя 2 ==== | ||
− | Лекция: Наилучшее линейное приближение. Обычная и частная корреляция. Стационарность процесса. Очень краткое введение в МНК. | + | [17 сентября] Лекция: Наилучшее линейное приближение. Обычная и частная корреляция. Стационарность процесса. Очень краткое введение в МНК. |
Оценка корреляции. [https://www.youtube.com/watch?v=r-yJXsHrbfo Видео] | Оценка корреляции. [https://www.youtube.com/watch?v=r-yJXsHrbfo Видео] | ||
Строка 39: | Строка 41: | ||
==== Неделя 3 ==== | ==== Неделя 3 ==== | ||
− | Лекция: Модели ETS. Правдоподобие моделей ETS. [https://youtu.be/F4dv_9sjodY видео] | + | [24 сентября] Лекция: Модели ETS. Правдоподобие моделей ETS. [https://youtu.be/F4dv_9sjodY видео] |
Семинар: Модели экспоненциального сглаживания. Модели Хольта-Винтерса. Модели ETS. [https://youtu.be/KU75dnwChCY Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_3.ipynb Ноутбук] | Семинар: Модели экспоненциального сглаживания. Модели Хольта-Винтерса. Модели ETS. [https://youtu.be/KU75dnwChCY Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_3.ipynb Ноутбук] | ||
Строка 45: | Строка 47: | ||
==== Неделя 4 ==== | ==== Неделя 4 ==== | ||
− | Лекция: | + | [1 октября] Лекция: ETS-модель. Кросс-валидация. [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/01.10.2020.pdf Конспект] |
Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. [https://youtu.be/w_MBMoWJcGA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_4.ipynb Ноутбук] | Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. [https://youtu.be/w_MBMoWJcGA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_4.ipynb Ноутбук] | ||
+ | [https://youtu.be/tyWPLaz8t6o Тестирование гипотез] | ||
+ | ==== Неделя 5 ==== | ||
+ | |||
+ | [15 октября] Лекция: перенос | ||
+ | |||
+ | Семинар: Ансамблирование. Лаговые полиномы. AR-процесс, вывод автокорреляции и частной автокорреляции. [https://youtu.be/WlzPAkZnRGg Видео] | ||
+ | |||
+ | ==== Неделя 6 ==== | ||
+ | |||
+ | [29 октября] Лекция: ARMA-модель [https://www.youtube.com/watch?v=KpD-YqjMv6o&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=2&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/29.10.2020.pdf Конспект] | ||
+ | |||
+ | Семинар: MA-процесс. ARMA-процесс. Условие стационарности/стабильности процесса. Примеры симуляций. [https://youtu.be/3Q7YhpFBmWc Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_6.ipynb Ноутбук] | ||
+ | |||
+ | ==== Неделя 7 ==== | ||
+ | |||
+ | [5 ноября] Лекция: AR-процесс. Теорема о стационарных решениях. [https://www.youtube.com/watch?v=HNn6pKCUFuo&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=1&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/05.11.2020.pdf Конспект] | ||
+ | |||
+ | Семинар: Проблема нестационарности. Модели трендов. Детерминированный и стохастический тренды. ARIMA-модель. [https://youtu.be/dTpReT0ohpw Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_7.ipynb Ноутбук] | ||
+ | |||
+ | ==== Неделя 8 ==== | ||
+ | |||
+ | [12 ноября] Лекция: Общая схема выбора SARIMA-модели. Долгосрочная дисперсия гамма. [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/12.11.2020.pdf Конспект] | ||
+ | |||
+ | Семинар: Тестирование нестационарности. ADF-тест. KPSS-тест. Стратегии прогнозирования: прямая и рекурсивная. [https://youtu.be/wylBal05Lc8 Видео] | ||
+ | |||
+ | ==== Неделя 9 ==== | ||
+ | |||
+ | [19 ноября] Лекция: перенос | ||
+ | |||
+ | Семинар: Модели ARIMAX/DL/ADL, тест причинности Гранжера, коинтеграция, особенности стратегий прогнозирования [https://youtu.be/iPSgx4VaJfA Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_8.ipynb Ноутбук] | ||
+ | |||
+ | ==== Неделя 10 ==== | ||
+ | |||
+ | [26 ноября] Лекция: закрываем процедуру отбора ARIMA модели, UCM-модель. [https://www.youtube.com/watch?v=Cl_g54KW6C0&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=6&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/26.11.2020.pdf Конспект] | ||
+ | |||
+ | Семинар: Составляющие UCM-модели. Симуляции отдельных компонент. [https://youtu.be/tNjGxpWd47E Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_9.ipynb Ноутбук] | ||
+ | |||
+ | Восстановленный семинар: Разбор статьи о продвинутых методах кросс-валидации временных рядов. [https://youtu.be/8dT1jPMDbDA Видео] [https://arxiv.org/pdf/1905.11744.pdf Оригинал статьи] | ||
+ | |||
+ | ==== Неделя 11 ==== | ||
+ | |||
+ | [3 декабря] Лекция: Дискретное преобразование Фурье. [https://www.youtube.com/watch?v=ZUV5BRnYJII&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=5&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/03.12.2020.pdf Конспект] | ||
+ | |||
+ | Семинар: Оценка UCM-модели. Общий подход к классификации и кластеризации рядов. [https://youtu.be/i-iFEY1JVcI Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/seminars/sem_10.ipynb Ноутбук] | ||
+ | |||
+ | ==== Неделя 12 ==== | ||
+ | |||
+ | [10 декабря] Лекция: Фильтр Калмана. [https://www.youtube.com/watch?v=nKXJuQiSCYQ&list=PL1poMUvVlAqczCW8lenNwtJThBapSkHbu&index=4&ab_channel=BorisDemeshev Видео] [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/lectures/10.12.2020.pdf Конспект] | ||
+ | |||
+ | Семинар: GARCH-модель. Нелинейные модели (TAR, SETAR, STAR, Markov switching model). [https://youtu.be/lvWMpRhFDw8 Видео] [https://www.statsmodels.org/dev/examples/notebooks/generated/markov_autoregression.html Примеры использования марковской модели] | ||
+ | |||
+ | ==== Неделя 13 ==== | ||
+ | |||
+ | [17 декабря] Лекция: | ||
+ | |||
+ | Семинар: VAR и SVAR модели. Impulse response functions. [https://youtu.be/3NmaTzR2enU Видео] [https://www.statsmodels.org/dev/vector_ar.html Пример кода] | ||
+ | |||
+ | === Контрольная работа и экзамен === | ||
+ | [https://github.com/bdemeshev/tseries_hse_2020_21/raw/main/kr_01/ts_kr_01.pdf контрольная], дропбокс [https://www.dropbox.com/request/ViqJ3JZkHyLwlAqHBSjS для загрузки решений]. | ||
+ | |||
+ | |||
+ | [https://github.com/bdemeshev/tseries_hse_2020_21/raw/main/exam/ts_exam.pdf экзамен], [https://classroom.github.com/a/KXMv-yP1 git-classroom для решений] | ||
=== Домашние задания === | === Домашние задания === | ||
Строка 100: | Строка 164: | ||
'''Домашнее задание 3''' | '''Домашнее задание 3''' | ||
− | Модели ARIMA/SARIMA | + | Модели ARIMA/SARIMA/DL/ADL, стратегии прогнозирования |
+ | |||
+ | [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/homeworks-practice/HW_3/HW_3.ipynb Задание] | ||
+ | |||
+ | Выдается: 18.11.2020 01.30 | ||
+ | |||
+ | Дедлайн: 05.12.2020 6.00 | ||
'''Домашнее задание 4''' | '''Домашнее задание 4''' | ||
− | + | [https://github.com/Pyatachokk/hse_ts_course/blob/master/2020-fall/homeworks-practice/HW_4/HW_4.ipynb Задание] | |
+ | |||
+ | [https://github.com/Pyatachokk/hse_ts_course/tree/master/2020-fall/homeworks-practice/HW_4/M4_sample Данные] | ||
+ | |||
+ | Выдаётся: 02.12.2020 02.00 | ||
+ | Дедлайн: 16.12.2020 23.00 | ||
=== Итоговая оценка за курс === | === Итоговая оценка за курс === |
Текущая версия на 17:51, 10 января 2021
Содержание
О курсе
Курс по выбору для студентов для студентов 3 и 4 курса в 1-2 модулях.
Лектор: Демешев Борис Борисович
Лекции проходят на Покровке по четвергам в ауд. M203 (18:10 - 19:30)
Семинарист: Зехов Матвей Сергеевич
Семинары проходят на Покровке по вторникам в ауд. D504 (09:30 - 10:50)
Полезные ссылки
Боевой листок
Неделя 1
[10 сентября] Лекция: Наивная модель. Оценка параметра. Точечный и интервальный прогноз. Алгоритм DTW.
Семинар: Визуализация рядов, периодичность, тривиальные модели прогнозирования Видео Ноутбук
Дополнительно: видео про DTW
Неделя 2
[17 сентября] Лекция: Наилучшее линейное приближение. Обычная и частная корреляция. Стационарность процесса. Очень краткое введение в МНК. Оценка корреляции. Видео
Семинар: Задача линейной регрессии. Метод наименьших квадратов. Теорема Гаусса-Маркова. Статистические свойства оценок. Автокорреляции. Видео
Неделя 3
[24 сентября] Лекция: Модели ETS. Правдоподобие моделей ETS. видео
Семинар: Модели экспоненциального сглаживания. Модели Хольта-Винтерса. Модели ETS. Видео Ноутбук
Неделя 4
[1 октября] Лекция: ETS-модель. Кросс-валидация. Конспект
Семинар: Стабилизация дисперсии. Отбор моделей. Тестирование качества модели. Информационные критерии. Кросс-валидация. Метрики качества. Видео Ноутбук
Неделя 5
[15 октября] Лекция: перенос
Семинар: Ансамблирование. Лаговые полиномы. AR-процесс, вывод автокорреляции и частной автокорреляции. Видео
Неделя 6
[29 октября] Лекция: ARMA-модель Видео Конспект
Семинар: MA-процесс. ARMA-процесс. Условие стационарности/стабильности процесса. Примеры симуляций. Видео Ноутбук
Неделя 7
[5 ноября] Лекция: AR-процесс. Теорема о стационарных решениях. Видео Конспект
Семинар: Проблема нестационарности. Модели трендов. Детерминированный и стохастический тренды. ARIMA-модель. Видео Ноутбук
Неделя 8
[12 ноября] Лекция: Общая схема выбора SARIMA-модели. Долгосрочная дисперсия гамма. Конспект
Семинар: Тестирование нестационарности. ADF-тест. KPSS-тест. Стратегии прогнозирования: прямая и рекурсивная. Видео
Неделя 9
[19 ноября] Лекция: перенос
Семинар: Модели ARIMAX/DL/ADL, тест причинности Гранжера, коинтеграция, особенности стратегий прогнозирования Видео Ноутбук
Неделя 10
[26 ноября] Лекция: закрываем процедуру отбора ARIMA модели, UCM-модель. Видео Конспект
Семинар: Составляющие UCM-модели. Симуляции отдельных компонент. Видео Ноутбук
Восстановленный семинар: Разбор статьи о продвинутых методах кросс-валидации временных рядов. Видео Оригинал статьи
Неделя 11
[3 декабря] Лекция: Дискретное преобразование Фурье. Видео Конспект
Семинар: Оценка UCM-модели. Общий подход к классификации и кластеризации рядов. Видео Ноутбук
Неделя 12
[10 декабря] Лекция: Фильтр Калмана. Видео Конспект
Семинар: GARCH-модель. Нелинейные модели (TAR, SETAR, STAR, Markov switching model). Видео Примеры использования марковской модели
Неделя 13
[17 декабря] Лекция:
Семинар: VAR и SVAR модели. Impulse response functions. Видео Пример кода
Контрольная работа и экзамен
контрольная, дропбокс для загрузки решений.
экзамен, git-classroom для решений
Домашние задания
Общие правила
Домшние задания сдаются в энитаск. Инвайт был выслан в групповой чат.
Мягких дедлайнов нет. Все дедлайны жёсткие.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
В задачах на визуализацию все графики должны иметь оси/заголовки и прочие обязательные атрибуты. При их отсутствии графики оцениваться не будут.
Формат файла для сдачи домашнего задания:
Схема: ДЗ_{Номер домашнего задания}_{Фамилия кириллицей}_{Город (Москва/Петербург)}.ipynb
Пример: ДЗ_1_Зехов_Петербург.ipynb
Домашнее задание 1
Обработка данных. Визуализация. Построение тривиальных моделей прогнозирования.
Выдается: 27.09.2020 18.00
Дедлайн: 09.10.2020 23.00
Домашнее задание 2
Стабилизация дисперсии. Отбор моделей. Тестирование качества оценки модели. Кросс-валидация.
Выдается: 06.10.2020 18.30
Дедлайн: 18.10.2020 23.00
Домашнее задание 3
Модели ARIMA/SARIMA/DL/ADL, стратегии прогнозирования
Выдается: 18.11.2020 01.30
Дедлайн: 05.12.2020 6.00
Домашнее задание 4
Выдаётся: 02.12.2020 02.00 Дедлайн: 16.12.2020 23.00
Итоговая оценка за курс
Итог = 0.4 * ДЗ + 0.3 * КР + 0.3 * Экз
ДЗ — средняя оценка за домашние задания
КР — оценка за контрольную работу
Экз — оценка за письменный экзамен
Литература
- Tsay R. S. Analysis of financial time series
- Лекции курса по временным рядам от MIT.
- Коралов Л.Б., Синай Я.Г. — Теория вероятностей и случайные процессы
- Van der Vaart A. W. Time series lecture notes
- Hyndman R. J., Athanasopoulos G. Forecasting principles and practice, книга написана для языка R, однако можно найти полезные материалы по теории, в частности, по моделям ETS