Семантическая сегментация изображений для автоматической разметки аэрофотоснимков (проект)
Ментор | Горбачёв Вадим |
Учебный семестр | Осень 2016 |
Учебный курс | 2-й курс |
Проект можно развивать на летней практике | |
Максимальное количество студентов, выбравших проект: 8 | |
Что это за проект?
Семантическая сегментация изображений - это разделение изображения на отдельные группы пикселей, области, соответствующие одному объекту с одновременным определением типа объекта в каждой области. Задача семантической сегментации является высокоуровневой задачей обработки изображений, относящейся к группе задач т.н. слабого искусственного интеллекта. Она является даже более сложной, чем задача классификации изображений и поиска объектов, что обусловлено не только необходимостью определения классов объектов, но и выявления их структуры, правильного выделения частей объектов на изображении.
Конкретным приложением, для которого важны методы семантической сегментации, является задача анализа аэрофотоснимков высокого разрешения с целью автоматического построения на их основе детальных карт местности или города. При создании карт как раз необходимо точно определить границы объектов на снимке поверхности земли, а так же указать их класс: здание, водоём, дорога, река, автомобиль, растительность. Алгоритмы автоматической семантической сегментации позволят существенно упростить задачу картографов при построении карт и сократить время на обработку данных.
Студентам будут предложены реальные аэрофотоснимки городской и загородной местности, для которых уже осуществлена разметка. Они будут использоваться для обучения и проверки алгоритмов.
Чему вы научитесь?
В ходе работы над проектом студенты приобретут навыки обработки и анализа изображений, опробуют методы сегментации и на реальных практических задачах смогут опробовать методы машинного обучения.
Наиболее продвинутые студенты смогут научиться работать с одним из самых актуальных новых методов в компьютерном зрении - свёрточными нейронными сетями (Convolutional Neural Network (CNN), Fully-convolutional Network (FCN)).
Кроме того у студентов будет возможность принять участие в актуальном контесте по данной тематике - ISPRS 2D Semantic Labeling Contest.
Какие начальные требования?
Программирование на С++ или Python или Java
Английский язык для чтения статей
Опыт работы с OpenCV приветствуется
Какие будут использоваться технологии?
OpenCV
Методы анализа и обработки изображений: Super-pixel, CRF/FCRF, CNN/FCN
Методы классификации: Random Forest, SSVM, ANN-CNN-FCN
Темы вводных занятий
В ходе встреч студентам будут даны основные знания по сегментации изображений, методам признакового описания изображений, необходимым математическим моделям (в частности CRF) и методам обучения, основным подходам к семантической сегментации.
Направления развития
GPU оптимизация обучения/классификации
Обучение алгоритма на слаборазмеченных данных
Использование помимо оптических снимков ИК-снимков (NIR), карт высот (DSM)
Расширение количества классов
Адаптация к задачам сегментации произвольных изображений (не аэрофотоснимков)
Участие в контестах Pascal VOC Segmentation Competition / ImageNet Large Scale Visual Recognition Challenge
Критерии оценки
4 - Реализация Random Forest (RF)-обучения на пикселях
5 - Реализация RF-обучения на суперпикселях
6 - Реализация RF-обучения + модели Conditional Random Field (CRF)
7 - Реализация обучения на признаках от CNN *или* Реализация RF-обучения + модели FCRF
8 - Реализация обучения на признаках от CNN + обучение модели CRF *или* Обучение FCN
9 - Реализация обучения на признаках от CNN + обучение модели FCRF *или* Обучение FCN + CRF
10 - Реализация обучения FCN+FCRF
При определении оценки решающим будет результат алгоритмов на тестовых снимках. Творческий подход к решению задачи приветствуется.
Ориентировочное расписание занятий
Четверг или Понедельник