AI-Cognitive: обучение с подкреплением для задачи перемещения (проект)

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Ментор Панов Александр
Учебный семестр Осень 2017
Учебный курс 2-й курс
Проект можно развивать на летней практике
Максимальное количество студентов, выбравших проект: 5



Что это за проект?

Создавая и проектируя робототехнические системы, мы должны заложить в них некоторые знания, на основе которых они будет успешно решать задачи и адекватно себя вести во внешней среде. Сейчас такие знания в виде правил и готовых алгоритмов по большей части закладываются вручную. Однако, очевидно, что это во-первых, неэффективно, а во-вторых, порождает множество неточностей, потому что заранее все предусмотреть невозможно. Единственный выходи из такой ситуации - разработать алгоритм обучения, который бы позволял в процессе деятельности пополнять информацию о доступных и успешных для данной задачи действиях, конструировать новые действия на основе базовых операций и т.д. В данном проекте предлагается поработать над одним из таких алгоритмов в задаче поиска пути в лабиринте.

Чему вы научитесь?

Вы научитесь работать и реализовывать современные алгоритмы обучения с подкреплением. Вы узнаете, в чем специфика работы с робототехническими системами. Вы научитесь применять методы машинного обучения в таких задачах, как планирование и управление. Познакомитесь с возможностью применения нейронных сетей в обучении с подкреплением.

Какие начальные требования?

Отличное знание Python и желание учиться новому

Какие будут использоваться технологии?

Инструменты и библиотеки Python (OpenAI.Gym, Open.AI Universe и др.)

Темы вводных занятий

Базовое занятие по обучению с подкреплением и задаче поиска пути.

Направления развития

Основное развитие - имплементация разработанного алгоритма для модели робототехнической системы в системах ROS и Gazebo.

Критерии оценки

1. 4-5 - Реализация базовой среды (Env) в Open.AI и примитивного алгоритма поиска пути через Q-tables. 2. 6-7 - Реализация различных версий DQN, проведение и анализ экспериментов. 3. 8-10 - Либо применение реккуретной нейронной сети с памятью, либо реализация алгоритма для модели робота в ROS и Gazebo.

Ориентировочное расписание занятий

ЧТ 15:00-19:00 и ПТ 15:00-19:00