Прикладные задачи анализа данных (майнор - весна 2019) — различия между версиями
Panov.ai (обсуждение | вклад) |
Panov.ai (обсуждение | вклад) |
||
| Строка 116: | Строка 116: | ||
'''Семинар''': [ссылка Transfer] | '''Семинар''': [ссылка Transfer] | ||
| + | |||
| + | === Рекомендуемые ресурсы и литература=== | ||
| + | |||
| + | Обучение с подкреплением: | ||
| + | * Книга Sutton, Barto Reinforcement learning: An Introduction [ | ||
| + | https://towardsdatascience.com/introduction-to-various-reinforcement-learning-algorithms-i-q-learning-sarsa-dqn-ddpg-72a5e0cb6287 (ссылка)] | ||
| + | * Курс от Яндекса [https://github.com/yandexdataschool/Practical_RL (ссылка)] | ||
| + | * Идеи нейрофизиологии и психологии [http://www.scholarpedia.org/article/Reinforcement_learning (ссылка)] | ||
| + | * Глубокое обучение с подкреплением [http://rail.eecs.berkeley.edu/deeprlcourse/ (ссылка)] | ||
| + | * Лекции от Berkley [https://sites.google.com/view/deep-rl-bootcamp/lectures (ссылка)] | ||
| + | * Лекции от University of Edinburg [http://www.inf.ed.ac.uk/teaching/courses/rl/ (ссылка)] | ||
| + | * Лекции Дэвида Сильвера [http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html (ссылка)] | ||
| + | * Курс Паскаля Попарта [https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/ (ссылка)] | ||
| + | * Курс Саттона [https://drive.google.com/drive/folders/0B3w765rOKuKANmxNbXdwaE1YU1k (ссылка)] | ||
| + | * Материалы OpenAI [https://spinningup.openai.com/en/latest/index.html (ссылка)] | ||
Версия 18:19, 15 января 2019
Содержание
О курсе
Читается для студентов 3 курса в 3-4 модулях.
Лекции проходят по четвергам, 10:30 – 11:50, ауд. 5306 (Шаболовка, 26).
Лекторы:
В 3 модуле: Александр Панов (обучение с подкреплением)
В 4 модуле: Дмитрий Игнатов (майнинг данных), Иван Смуров (автоматическая обработка текстов)
Канал для оповещений в Telegram
Семинары
Семинары проходят по четвергам (Шаболовка, 26).
| Группа | Преподаватель | Расписание | чат группы |
|---|---|---|---|
| ИАД1 | Александр Панов | 09:00 – 10:20, ауд. 4336 | |
| ИАД2 | Алексей Скрынник | 12:10 – 13:30, ауд. 4336 | |
| ИАД3 | Наталия Козловская | 09:00 – 10:20, ауд. 3316 | |
| ИАД4 | Дмитрий Светличный | 09:00 – 10:20, ауд. 4335 | |
| ИАД5 | Дмитрий Светличный | 12:10 – 13:30, ауд. 4335 |
Домашние задания
ДЗ 1. Обучение с подкреплением I:
ДЗ 2. Обучение с подкреплением II:
ДЗ 3. Анализ текстов I:
ДЗ 4. Анализ текстов II:
Система оценок
Результирующая оценка рассчитывается по формуле:
Oитоговая = 0.6 * Oнакопл + 0.4 * Оэкз
Накопленная оценка рассчитывается по формуле:
Oнакопл = 0.6 * OДЗ (4 шт) + 0.2 * Oауд + 0.2 * Oср (2 шт)
При накопленное оценке в 8, 9, 10 баллов такая же оценка за экзамен выставляется автоматом.
Программа
Неделя 1. 17.01.2019
Лекция: Введение в обучение с подкреплением. Основные понятия [ссылка (слайды)]
Семинар: [ссылка MDP + DP]
Неделя 2. 24.01.2019
Лекция: Динамическое программирование [ссылка (слайды)]
Семинар: [ссылка ADP + OpenAI Gym]
Неделя 3. 31.01.2019
Лекция: Временные различия и Q-обучение [ссылка (слайды)]
Семинар: [ссылка TD + Q-learning]
Неделя 4. 07.02.2019
Лекция: Аппроксимация функции полезности [ссылка (слайды)]
Семинар: [ссылка DQN]
Неделя 5. 14.02.2019
Лекция: Градиент стратегии [ссылка (слайды)]
Семинар: [ссылка Vanilla PG]
Неделя 6. 21.02.2019
Лекция: Иерархическое обучение с подкреплением [ссылка (слайды)]
Семинар: [ссылка HAM]
Неделя 7. 28.02.2019
Лекция: Актор-критик [ссылка (слайды)]
Семинар: [ссылка ActorCritic]
Неделя 8. 07.03.2019
Лекция: Оптимизация градиента стратегии [ссылка (слайды)]
Семинар: [ссылка TRPO]
Неделя 9. 14.03.2019
Лекция: Обучение в частично наблюдаемой среде [ссылка (слайды)]
Семинар: [ссылка POMDP]
Неделя 10. 21.03.2019
Лекция: Метаобучение и перенос знаний [ссылка (слайды)]
Семинар: [ссылка Transfer]
Рекомендуемые ресурсы и литература
Обучение с подкреплением:
- Книга Sutton, Barto Reinforcement learning: An Introduction [
