Семантическая сегментация изображений для автоматической разметки аэрофотоснимков (проект)
Ментор | Горбачёв Вадим |
Учебный семестр | Осень 2016 |
Учебный курс | 2-й курс |
Проект можно развивать на летней практике | |
Максимальное количество студентов, выбравших проект: 8 | |
Что это за проект?
Семантическая сегментация - это разделение изображения на отдельные группы пикселей, области, соответствующие одному объекту с одновременным определением типа объекта в каждой области. Задача семантической сегментации является высокоуровневой задачей обработки изображений, относящейся к группе задач т.н. слабого искусственного интеллекта. Она является даже более сложной, чем задача классификации изображений и детекции объектов, что обусловлено не только необходимостью определения классов объектов, но и выявления их структуры, правильного выделения частей объектов на изображении.
Конкретным приложением, для которого важны методы семантической сегментации, является задача анализа аэрофотоснимков высокого разрешения с целью автоматического построения на их основе детальных карт местности или города. При создании карт как раз необходимо точно определить границы объектов на снимке поверхности земли, а так же указать их класс: здание, водоём, дорога, река, автомобиль, растительность. Алгоритмы автоматической семантической сегментации позволят существенно упростить задачу картографов при построении карт и сократить время на обработку данных.
Студентам будут предложены реальные аэрофотоснимки местности с уже созданной разметкой, на которых уже осуществлена разметка. Они будут использоваться для обучения и проверки алгоритмов.
Чему вы научитесь?
В ходе работы над проектом студенты приобретут навыки обработки и анализа изображений, опробуют методы сегментации и на реальных практических задачах смогут опробовать методы машинного обучения.
Наиболее продвинутые студенты смогут научиться работать с одним из самых актуальных новых методов в компьютерном зрении - свёрточными нейронными сетями (Convolutional Neural Network (CNN), Fullu-convolutional Network (FCN)).
Кроме того у студентов будет возможность принять участие в актуальном контесте по данной тематике - ISPRS 2D Semantic Labeling Contest.
Какие начальные требования?
Программирование на С++ или Python или Java Английский язык для чтения статей Опыт работы с OpenCV приветствуется
Какие будут использоваться технологии?
OpenCV Методы анализа и обработки изображений: Super-pixel CRF/FCRF CNN/FCN Методы классификации: Random Forest SSVM ANN
Темы вводных занятий
В ходе встреч студентам будут даны основные знания по сегментации изображений, методам признакового описания изображений, необходимым математическим моделям (в частности CRF) и методам обучения, основным подходам к семантической сегментации.
Направления развития
GPU оптимизация обучения/классификации Обучение алгоритма на слаборазмеченных данных Использование помимо оптических снимков ИК-снимков (NIR), карт высот (DSM) Расширение количества классов Адаптация к задачам сегментации произвольных изображений (не аэрофотоснимков) Участие в контестах Pascal VOC Segmentation Competition / ImageNet Large Scale Visual Recognition Challenge
Критерии оценки
4 - Реализация RF-обучения на пикселях 5 - Реализация RF-обучения на суперпикселях 6 - Реализация RF-обучения + модели CRF 7 - Реализация обучения на признаках от CNN *или* Реализация RF-обучения + модели FCRF 8 - Реализация обучения на признаках от CNN + обучение модели CRF *или* Обучение FCN 9 - Реализация обучения на признаках от CNN + обучение модели FCRF *или* Обучение FCN + CRF 10 - Реализация обчения FCN+FCRF
Ориентировочное расписание занятий
Четверг или Понедельник