Семантическая сегментация изображений для автоматической разметки аэрофотоснимков (проект) — различия между версиями

Текущая версия на 19:19, 18 октября 2017

Что это за проект?

Семантическая сегментация изображений - это разделение изображения на отдельные группы пикселей, области, соответствующие одному объекту с одновременным определением типа объекта в каждой области. Задача семантической сегментации является высокоуровневой задачей обработки изображений, относящейся к группе задач т.н. слабого искусственного интеллекта. Она является даже более сложной, чем задача классификации изображений и поиска объектов, что обусловлено не только необходимостью определения классов объектов, но и выявления их структуры, правильного выделения частей объектов на изображении.

Конкретным приложением, для которого важны методы семантической сегментации, является задача анализа аэрофотоснимков высокого разрешения с целью автоматического построения на их основе детальных карт местности или города. При создании карт как раз необходимо точно определить границы объектов на снимке поверхности земли, а так же указать их класс: здание, водоём, дорога, река, автомобиль, растительность. Алгоритмы автоматической семантической сегментации позволят существенно упростить задачу картографов при построении карт и сократить время на обработку данных.

Студентам будут предложены реальные аэрофотоснимки городской и загородной местности, для которых уже осуществлена разметка. Они будут использоваться для обучения и проверки алгоритмов.

Чему вы научитесь?

В ходе работы над проектом студенты приобретут навыки обработки и анализа изображений, опробуют методы сегментации и на реальных практических задачах смогут опробовать методы машинного обучения.

Наиболее продвинутые студенты смогут научиться работать с одним из самых актуальных новых методов в компьютерном зрении - свёрточными нейронными сетями (Convolutional Neural Network (CNN), Fully-convolutional Network (FCN)).

Кроме того у студентов будет возможность принять участие в актуальном контесте по данной тематике - ISPRS 2D Semantic Labeling Contest.

Какие начальные требования?

Программирование на С++ или Python или Java

Английский язык для чтения статей

Опыт работы с OpenCV приветствуется

Какие будут использоваться технологии?

OpenCV

Методы анализа и обработки изображений: Super-pixel, CRF/FCRF, CNN/FCN

Методы классификации: Random Forest, SSVM, ANN-CNN-FCN

Темы вводных занятий

В ходе встреч студентам будут даны основные знания по сегментации изображений, методам признакового описания изображений, необходимым математическим моделям (в частности CRF) и методам обучения, основным подходам к семантической сегментации.

Направления развития

GPU оптимизация обучения/классификации

Обучение алгоритма на слаборазмеченных данных

Использование помимо оптических снимков ИК-снимков (NIR), карт высот (DSM)

Расширение количества классов

Адаптация к задачам сегментации произвольных изображений (не аэрофотоснимков)

Участие в контестах Pascal VOC Segmentation Competition / ImageNet Large Scale Visual Recognition Challenge

Критерии оценки

4 - Реализация Random Forest (RF)-обучения на пикселях

5 - Реализация RF-обучения на суперпикселях

6 - Реализация RF-обучения + модели Conditional Random Field (CRF)

7 - Реализация обучения на признаках от CNN *или* Реализация RF-обучения + модели FCRF

8 - Реализация обучения на признаках от CNN + обучение модели CRF *или* Обучение FCN

9 - Реализация обучения на признаках от CNN + обучение модели FCRF *или* Обучение FCN + CRF

10 - Реализация обучения Fully-convolutional Network (FCN) + FCRF

Творческий подход к решению задачи приветствуется, за реализацию собственных успешных идей баллы будут добавляться.

Ориентировочное расписание занятий

Понедельник, вторник или четверг вечером, суббота утром. Будние утром по договорённости