Поиск по картинкам на примере распознавания афиш (проект)

Ментор	Вадим Горбачёв
Учебный семестр	Весна 2016
Учебный курс	1-й курс
Максимальное количество студентов, выбравших проект: 6

Что это за проект?

Современные поисковые системы позволяют искать информацию по различным видам запросов. Как по текстовым, так и по запросам в виде картинок, аудио или видео файлов. Предлагается рассмотреть как работает поисковая система при поиске изображений. Для этого создадим систему, реализующую основные принципы поиска по базе изображений. Нужно решить следующую практическую задачу: пользователь делает запрос в виде изображения афиши (плаката), которое он сделал, например, на свой смартфон. В ответ необходимо сообщить, что это за фильм, выдать по нему информацию или ссылку на Кинопоиск.

(презентация проекта)

Чему вы научитесь?

• Основам компьютерного зрения, обработки и анализа изображений.

• Работе с библиотекой компьютерного зрения OpenCV.

• Принципам работы с изображениями как с наборами визуальных слов для эффективного поиска по изображениям.

• Общим принципам индексации и поиска в индексированных массивах данных.

• Методам нахождения и выбора гипотез (закономерностей) при сильно зашумлённых данных.

Какие начальные требования?

• Программирование на С++ или Python.

• Желание изучать компьютерное зрение, работать с изображениями

Какие будут использоваться технологии?

• OpenCV

• K-means кластеризация

• Bag-Of-Words

• RANSAC

Темы вводных занятий

• Работа с изображениями.

• Библиотека OpenCV.

• Особые точки на изображениях.

• Детекторы и дескрипторы особых точек.

• Технология мешка слов (Bag Of Words).

• Оценка расположения изображений друг относительно друга.

• Метод определения расположения с помощью случайных гипотез (RANSAC).

Направления развития

• Ускорение результатов поиска, построение инвертированного индекса.

• Коррекция результатов поиска, учитывающая возможные геометрические и ракурсные искажения исходного изображения.

• Разработка мобильного приложения для фотографирования афиш и их последующего распознавания и выдачи информации о фильме или покупки билетов в кино.

• Распознавание зданий на фотографиях.

Критерии оценки

4-5: Создать базу изображений. Найти особые точки на изображениях и посчитать их дескрипторы. Кластеризовать дескрипторы, выделить визуальные слова.

6: Организовать поиск наиболее похожего объекта по визуальным словам.

7: Создать инвертированный индекс базы изображений, производить поиск только среди объектов у которых есть общие слова.

8-10: Анализировать геометрические связи между изображениями. Отсекать изображения-кандидаты, геометрически не соответствующие изображению-запросу.

Ориентировочное расписание занятий

Четверг 18:15-19:45