Обучение с подкреплением для манипулятора (проект)

Ментор	Панов Александр
Учебный семестр	Осень 2018
Учебный курс	2-й курс
Проект можно развивать на летней практике
Максимальное количество студентов, выбравших проект: 5

Что это за проект?

Создавая и проектируя робототехнические системы, мы должны заложить в них некоторые знания, на основе которых они будет успешно решать задачи и адекватно себя вести во внешней среде. Сейчас такие знания в виде правил и готовых алгоритмов по большей части закладываются вручную. Однако, очевидно, что это во-первых, неэффективно, а во-вторых, порождает множество неточностей, потому что заранее все предусмотреть невозможно. Единственный выход из такой ситуации - разработать алгоритм обучения, который бы позволял в процессе деятельности пополнять информацию о доступных и успешных для данной задачи действиях, конструировать новые действия на основе базовых операций и т.д. В данном проекте предлагается поработать над одним из таких алгоритмов в задаче управления манипулятором робота.

Чему вы научитесь?

Вы научитесь работать и реализовывать современные алгоритмы обучения с подкреплением. Вы узнаете, в чем специфика работы с робототехническими системами. Вы научитесь применять методы машинного обучения в таких задачах, как планирование и управление. Познакомитесь с возможностью применения нейронных сетей в обучении с подкреплением.

Какие начальные требования?

Отличное знание Python и желание учиться новому.

Какие будут использоваться технологии?

Инструменты и библиотеки Python (OpenAI.Gym, Open.AI Universe и др.).

Темы вводных занятий

Базовое занятие по обучению с подкреплением и задаче управления манипулятором.

Направления развития

Основное развитие - имплементация разработанного алгоритма для модели робототехнической системы в системах ROS и Gazebo.

Критерии оценки

1. 4-5 - Реализация базовой среды (Env) в Open.AI и примитивного алгоритма управления через Q-tables. 2. 6-7 - Реализация различных версий алгоритмов TRPO и PPO, проведение и анализ экспериментов. 3. 8-10 - Либо применение реккуретной нейронной сети с памятью, либо реализация алгоритма для модели робота в ROS и Gazebo.

Ориентировочное расписание занятий

ПН 17:00-19:00 и СП 17:00-19:00