Детектор повреждённых зёрен

Компания	Cognitive Technologies
Учебный семестр	Осень 2018
Учебный курс	2-й курс

Что это за проект?

Детектор повреждённых зёрен необходим для точной регуляции параметров комбайна (таких как расстояние между лопастями) в режиме реального времени. От студента требуется обучить модель, решающую задачу сегментации, которая будет выступать основным элементом данного детектора, а так же построить регрессионную модель, предсказывающую массовую долю повреждённого зерна по серии фотографий.

Чему студент научится?

• Обработке изображений с помощью классических методов computer vision
• Решению задач сегментации
• Технике model ensembling
• Созданию моделей промышленного качества

Какие начальные требования?

• Python
• Базовые знания deep learning

Какие будут использоваться технологии?

• Python
• OpenCV
• MXNet

Критерии оценки

• Точность предсказаний
• Работа с несколькими видами зёрен
• Устойчивость к посторонним примесям
• Разумное время inference для работы в реальном времени

Подробное описание

Детектор разрабатывается по заказу из сельскохозяйственной отрасли. Система с заданной периодичностью получает фотографии из камеры комбайна и должна на основе серии кадров вычислять массовую долю повреждённых зёрен с указанной по ГОСТу точностью. Весь комплекс ПО для данной задачи будет работать на Nvidia Jetson. При этом детектор должен уметь переключаться между несколькими типами зёрен, быть устойчивым к примесям.

Генерация dataset’а происходит в полуавтоматическом режиме. От команды разметки получаются зёрна с покрашенными флуоресцентной краской сколами. Затем их вместе с примесями загружают в прототип камеры комбайна, перемешивают и фотографируют в обычном и ультрафиолетовом освещении. Далее необходимо с помощью методов компьютерного зрения из OpenCV по имеющимся фотографиям получать маски сколов. Получение масок само по себе является содержательной задачей, так как покрашенные зёрна частично отражают ультрафиолетовое освещение на соседей, перекрываются с другими зёрнами и инородными объектами. Вполне возможно, что по результатам обучения моделей потребуется взаимодействие с командой разметки и изменение политики покраски сколов.

На этапе обучения модели студент должен будет попробовать различные подходы и подобрать лучшую архитектуру для данной задачи. Так как заказчику требуется надёжное промышленное решение, одной сети для сегментации будет не достаточно. Один из возможных подходов - попробовать generative adversarial networks, либо же отдельно обучить классификатор и применять его ко всем кластерам, предложенным первой сетью. Для получения окончательного ответа (массовой доли) нужно построить регрессионную модель, которой на вход подаются предсказания детектора на серии кадров.

Предполагается участие в проекте вплоть до внедрения в промышленность, а также дообучение модели в случае возможных (и вероятных) неполадок при первом тесте в полевых условиях.

Контакты

Шканаев Александр (a.shkanaev@cognitive.ru)