Прикладные задачи анализа данных (майнор - весна 2019)
Содержание
О курсе
Читается для студентов 3 курса в 3-4 модулях.
Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).
Лекторы:
В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru
В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)
Канал для оповещений в Telegram
Семинары
Семинары проходят по четвергам (Шаболовка, 26).
Группа | Преподаватель | Расписание | Telegram |
---|---|---|---|
ИАД1 | Александр Панов | 09:00 – 10:20, ауд. 4336 | Вопросы по семинарам и ДЗ |
ИАД2 | Алексей Скрынник | 12:10 – 13:30, ауд. 3202 | Чат группы |
ИАД3 | Наталия Козловская | 09:00 – 10:20, ауд. 3316 | |
ИАД4 | Дмитрий Светличный | 09:00 – 10:20, ауд. 4335 | |
ИАД5 | Дмитрий Светличный | 12:10 – 13:30, ауд. 4335 |
Домашние задания
ДЗ 1. Обучение с подкреплением I:
ДЗ 2. Обучение с подкреплением II:
ДЗ 3. Анализ текстов I:
ДЗ 4. Анализ текстов II:
Система оценок
Результирующая оценка рассчитывается по формуле:
Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз
Накопленная оценка рассчитывается по формуле:
Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл
При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.
Программа
Неделя 1. 17.01.2019
Лекция: Введение в обучение с подкреплением. Основные понятия (слайды)
Семинар: MDP + CrossEntropy
Неделя 2. 24.01.2019
Лекция: Динамическое программирование [ссылка (слайды)]
Семинар: ссылка DP + ADP
Неделя 3. 31.01.2019
Лекция: Временные различия и Q-обучение [ссылка (слайды)]
Семинар: [ссылка TD + Q-learning]
Неделя 4. 07.02.2019
Лекция: Аппроксимация функции полезности [ссылка (слайды)]
Семинар: [ссылка DQN]
Неделя 5. 14.02.2019
Лекция: Градиент стратегии [ссылка (слайды)]
Семинар: [ссылка Vanilla PG]
Неделя 6. 21.02.2019
Лекция: Иерархическое обучение с подкреплением [ссылка (слайды)]
Семинар: [ссылка HAM]
Неделя 7. 28.02.2019
Лекция: Актор-критик [ссылка (слайды)]
Семинар: [ссылка ActorCritic]
Неделя 8. 07.03.2019
Лекция: Оптимизация градиента стратегии [ссылка (слайды)]
Семинар: [ссылка TRPO]
Неделя 9. 14.03.2019
Лекция: Обучение в частично наблюдаемой среде [ссылка (слайды)]
Семинар: [ссылка POMDP]
Неделя 10. 21.03.2019
Лекция: Метаобучение и перенос знаний [ссылка (слайды)]
Семинар: [ссылка Transfer]
Рекомендуемые ресурсы и литература
Обучение с подкреплением:
- Книга Sutton, Barto Reinforcement learning: An Introdu (ссылка)
- Курс от Яндекса (ссылка)
- Идеи нейрофизиологии и психологии (ссылка)
- Глубокое обучение с подкреплением (ссылка)
- Лекции от Berkley (ссылка)
- Лекции от University of Edinburg (ссылка)
- Лекции Дэвида Сильвера (ссылка)
- Курс Паскаля Попарта (ссылка)
- Курс Саттона (ссылка)
- Материалы OpenAI (ссылка)
- Репозиторий различных материалов по RL (ссылка)