Прикладные задачи анализа данных (майнор - весна 2019) — различия между версиями
Panov.ai (обсуждение | вклад) |
Panov.ai (обсуждение | вклад) |
||
| Строка 109: | Строка 109: | ||
==== Неделя 9. 14.03.2019 ==== | ==== Неделя 9. 14.03.2019 ==== | ||
| − | '''Лекция''': Обучение и планирование [ | + | '''Лекция''': Обучение и планирование [https://yadi.sk/i/_K-rive0oythxg (слайды)] |
'''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna] | '''Семинар''': [https://github.com/grafft/hse-tasks/tree/master/minor-module4/seminar8 Dyna] | ||
Версия 10:31, 14 марта 2019
Содержание
О курсе
Читается для студентов 3 курса в 3-4 модулях.
Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).
Лекторы:
В 3 модуле: Александр Панов (обучение с подкреплением) - apanov[at]hse.ru
В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)
Канал для оповещений в Telegram
Оставить анонимный отзыв или предложение для курса.
Семинары
Семинары проходят по четвергам (Шаболовка, 26).
| Группа | Преподаватель | Расписание | Telegram |
|---|---|---|---|
| ИАД1 | Александр Панов | 09:00 – 10:20, ауд. 4336 | Вопросы по семинарам и ДЗ |
| ИАД2 | Алексей Скрынник | 12:10 – 13:30, ауд. 3202 | Чат группы |
| ИАД3 | Наталия Козловская | 09:00 – 10:20, ауд. 3316 | |
| ИАД4 | Дмитрий Светличный | 09:00 – 10:20, ауд. 4335 | |
| ИАД5 | Дмитрий Светличный | 12:10 – 13:30, ауд. 4335 |
Домашние задания
ДЗ 1. Обучение с подкреплением I: имитационное обучение, срок - 20.02.2019 23:59, вопросы задавать ассистенту.
ДЗ 2. Обучение с подкреплением II: алгоритм актор-критик, срок - 24.03.2019 23:59, вопросы задавать ассистенту.
ДЗ 3. Анализ текстов I:
ДЗ 4. Анализ текстов II:
Система оценок
Результирующая оценка рассчитывается по формуле:
Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз
Накопленная оценка рассчитывается по формуле:
Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oколл
При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.
Программа
Неделя 1. 17.01.2019
Лекция: Введение в обучение с подкреплением. Основные понятия (слайды)
Семинар: MDP + CrossEntropy
Неделя 2. 24.01.2019
Лекция: Динамическое программирование (слайды)
Семинар: DP + ADP
Неделя 3. 31.01.2019
Лекция: Монте-Карло и временные различия (слайды)
Семинар: TD + Q-learning
Неделя 4. 07.02.2019
Занятия перенесены.
Неделя 5. 14.02.2019
Лекция: Аппроксимация функции полезности (слайды)
Семинар: DQN
Неделя 6. 21.02.2019
Лекция: Иерархическое обучение с подкреплением (слайды)
Семинар: HAM
Неделя 7. 28.02.2019
Лекция: Градиент стратегии (слайды)
Семинар: Vanilla PG
Неделя 8. 07.03.2019
Лекция: Актор-критик (слайды)
Семинар: ActorCritic
Неделя 9. 14.03.2019
Лекция: Обучение и планирование (слайды)
Семинар: Dyna
Неделя 10. 21.03.2019
Лекция: Обучение в частично-наблюдаемой среде [ссылка (слайды)]
Семинар: [ссылка POMDP]
Рекомендуемые ресурсы и литература
Обучение с подкреплением:
- Книга Sutton, Barto Reinforcement learning: An Introdu (ссылка)
- Курс от Яндекса (ссылка)
- Идеи нейрофизиологии и психологии (ссылка)
- Глубокое обучение с подкреплением (ссылка)
- Лекции от Berkley (ссылка)
- Лекции от University of Edinburg (ссылка)
- Лекции Дэвида Сильвера (ссылка)
- Курс Паскаля Попарта (ссылка)
- Курс Саттона (ссылка)
- Материалы OpenAI (ссылка)
- Репозиторий различных материалов по RL (ссылка)
