Просмотр исходного текста страницы Learning communicative and cooperative strategies in multi-agent decision processes (проект)

{{Карточка_проекта
|name=Learning communicative and cooperative strategies in multi-agent decision processes
|mentor=Ратников Федор Дмитриевич
|mentor_login={{URLENCODE:GalinaKaleeva|WIKI}}
|semester=Осень 2017
|course=2
|summer=
|number_of_students=1
|categorize=yes
}}

=== Что это за проект? ===
Классическая постановка задачи для обучения с подкреплением предполагает наличие одного агента, взаимодействующего со средой. Если в среде присутствует несколько агентов, наивный подход к решению задачи предполагает учесть их как часть среды (с нестационарным P(s’|s,a)). Существуют и более успешные формализации, напрямую основанные на знании о присутствии в среде нескольких агентов (https://arxiv.org/abs/1707.04402 , https://arxiv.org/pdf/1603.01121.pdf , goo.gl/srCohK ).
В данном проекте предлагается адаптировать классические методы RL для задачи с большим количеством кооперативных агентов с возможностью коммуникации. Сама задача - формализация goo.gl/iDXC8J . В проекте предлагается реализовать обучение агентов таким образом, чтобы они смогли “договариваться” между собой, достигая максимального выигрыша путем коллаборации. 


=== Чему вы научитесь? ===
Вы научитесь работать и реализовывать современные алгоритмы обучения с подкреплением, а также узнаете их специфику в контексте множества агентов. Модификации алгоритмов обучения с подкреплением в специфике RL также можно будет опубликовать на arxiv или тематические конференции.

=== Какие начальные требования? ===
Python, Theano/Tensorflow, reinforcement learning 101

=== Какие будут использоваться технологии? ===
Python, Theano/Tensorflow/Pytorch, OpenAI Gym

=== Темы вводных занятий ===
1. Introduction to Reinforcement Learning

2. Value-based methods

3. Approximate reinforcement learning

4. Policy Gradient Methods

=== Направления развития ===
TBA

=== Критерии оценки ===
4-6 Реализация среды для экспериментов

7-8 Построение базового решения задачи на базе actor-critic, expected-value sarsa или схожих методов.

9-10 Исследовательская работа по улучшению динамики обучения в таких играх (e.g. unrolled policy gradient, по выбору студента)

=== Ориентировочное расписание занятий ===
TBA