Прикладные задачи анализа данных (майнор - весна 2019) — различия между версиями
Panov.ai (обсуждение | вклад) |
Panov.ai (обсуждение | вклад) |
||
Строка 120: | Строка 120: | ||
Обучение с подкреплением: | Обучение с подкреплением: | ||
− | * Книга Sutton, Barto Reinforcement learning: An Introduction [ | + | * Книга Sutton, Barto Reinforcement learning: An Introduction [https://towardsdatascience.com/introduction-to-various-reinforcement-learning-algorithms-i-q-learning-sarsa-dqn-ddpg-72a5e0cb6287 (ссылка)] |
− | https://towardsdatascience.com/introduction-to-various-reinforcement-learning-algorithms-i-q-learning-sarsa-dqn-ddpg-72a5e0cb6287 (ссылка)] | + | |
* Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)] | * Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)] | ||
* Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)] | * Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)] |
Версия 18:19, 15 января 2019
Содержание
О курсе
Читается для студентов 3 курса в 3-4 модулях.
Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).
Лекторы:
В 3 модуле: Александр Панов (обучение с подкреплением)
В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)
Канал для оповещений в Telegram
Семинары
Семинары проходят по четвергам (Шаболовка, 26).
Группа | Преподаватель | Расписание | чат группы |
---|---|---|---|
ИАД1 | Александр Панов | 09:00 – 10:20, ауд. 4336 | |
ИАД2 | Алексей Скрынник | 12:10 – 13:30, ауд. 4336 | |
ИАД3 | Наталия Козловская | 09:00 – 10:20, ауд. 3316 | |
ИАД4 | Дмитрий Светличный | 09:00 – 10:20, ауд. 4335 | |
ИАД5 | Дмитрий Светличный | 12:10 – 13:30, ауд. 4335 |
Домашние задания
ДЗ 1. Обучение с подкреплением I:
ДЗ 2. Обучение с подкреплением II:
ДЗ 3. Анализ текстов I:
ДЗ 4. Анализ текстов II:
Система оценок
Результирующая оценка рассчитывается по формуле:
Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз
Накопленная оценка рассчитывается по формуле:
Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oср (2 шт)
При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.
Программа
Неделя 1. 17.01.2019
Лекция: Введение в обучение с подкреплением. Основные понятия [ссылка (слайды)]
Семинар: [ссылка MDP + DP]
Неделя 2. 24.01.2019
Лекция: Динамическое программирование [ссылка (слайды)]
Семинар: [ссылка ADP + OpenAI Gym]
Неделя 3. 31.01.2019
Лекция: Временные различия и Q-обучение [ссылка (слайды)]
Семинар: [ссылка TD + Q-learning]
Неделя 4. 07.02.2019
Лекция: Аппроксимация функции полезности [ссылка (слайды)]
Семинар: [ссылка DQN]
Неделя 5. 14.02.2019
Лекция: Градиент стратегии [ссылка (слайды)]
Семинар: [ссылка Vanilla PG]
Неделя 6. 21.02.2019
Лекция: Иерархическое обучение с подкреплением [ссылка (слайды)]
Семинар: [ссылка HAM]
Неделя 7. 28.02.2019
Лекция: Актор-критик [ссылка (слайды)]
Семинар: [ссылка ActorCritic]
Неделя 8. 07.03.2019
Лекция: Оптимизация градиента стратегии [ссылка (слайды)]
Семинар: [ссылка TRPO]
Неделя 9. 14.03.2019
Лекция: Обучение в частично наблюдаемой среде [ссылка (слайды)]
Семинар: [ссылка POMDP]
Неделя 10. 21.03.2019
Лекция: Метаобучение и перенос знаний [ссылка (слайды)]
Семинар: [ссылка Transfer]
Рекомендуемые ресурсы и литература
Обучение с подкреплением:
- Книга Sutton, Barto Reinforcement learning: An Introduction (ссылка)
- Курс от Яндекса (ссылка)
- Идеи нейрофизиологии и психологии (ссылка)
- Глубокое обучение с подкреплением (ссылка)
- Лекции от Berkley (ссылка)
- Лекции от University of Edinburg (ссылка)
- Лекции Дэвида Сильвера (ссылка)
- Курс Паскаля Попарта (ссылка)
- Курс Саттона (ссылка)
- Материалы OpenAI (ссылка)