Поиск по картинкам на примере распознавания афиш (проект) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Новая страница, с помощью формы Новый_проект)
 
Строка 15: Строка 15:
  
 
=== Чему вы научитесь? ===
 
=== Чему вы научитесь? ===
Основам компьютерного зрения, обработки и анализа изображений. Работе с библиотекой компьютерного зрения OpenCV.
+
* Основам компьютерного зрения, обработки и анализа изображений.  
Принципам работы с изображениями как с наборами визуальных слов для эффективного поиска по изображениям.
+
 
Общим принципам индексации и поиска в индексированных массивах данных.
+
* Работе с библиотекой компьютерного зрения OpenCV.
Методам нахождения и выбора гипотез (закономерностей) при сильно зашумлённых данных.
+
 
 +
* Принципам работы с изображениями как с наборами визуальных слов для эффективного поиска по изображениям.
 +
 
 +
* Общим принципам индексации и поиска в индексированных массивах данных.
 +
 
 +
* Методам нахождения и выбора гипотез (закономерностей) при сильно зашумлённых данных.
  
 
=== Какие начальные требования? ===
 
=== Какие начальные требования? ===
Программирование на С++ или Python.
+
* Программирование на С++ или Python.
Желание изучать компьютерное зрение, работать с изображениями
+
 
 +
* Желание изучать компьютерное зрение, работать с изображениями
  
 
=== Какие будут использоваться технологии? ===
 
=== Какие будут использоваться технологии? ===
OpenCV
+
* OpenCV
K-means кластеризация
+
 
Bag-Of-Words
+
* K-means кластеризация
RANSAC
+
 
 +
* Bag-Of-Words
 +
 
 +
* RANSAC
  
 
=== Темы вводных занятий ===
 
=== Темы вводных занятий ===
Работа с изображениями. Библиотека OpenCV.
+
* Работа с изображениями.  
Особые точки на изображениях. Детекторы и дескрипторы особых точек.
+
 
Технология мешка слов (Bag Of Words).
+
* Библиотека OpenCV.
Оценка расположения изображений друг относительно друга. Метод определения расположения с помощью случайных гипотез (RANSAC).
+
 
 +
* Особые точки на изображениях.  
 +
 
 +
* Детекторы и дескрипторы особых точек.
 +
 
 +
* Технология мешка слов (Bag Of Words).
 +
 
 +
* Оценка расположения изображений друг относительно друга.  
 +
 
 +
* Метод определения расположения с помощью случайных гипотез (RANSAC).
  
 
=== Направления развития ===
 
=== Направления развития ===
Ускорение результатов поиска, построение инвертированного индекса.
+
* Ускорение результатов поиска, построение инвертированного индекса.
Коррекция результатов поиска, учитывающая возможные геометрические и ракурсные искажения исходного изображения.
+
 
Разработка мобильного приложения для фотографирования афиш и их последующего распознавания и выдачи информации о фильме или покупки билетов в кино.
+
* Коррекция результатов поиска, учитывающая возможные геометрические и ракурсные искажения исходного изображения.
Распознавание зданий на фотографиях.
+
 
 +
* Разработка мобильного приложения для фотографирования афиш и их последующего распознавания и выдачи информации о фильме или покупки билетов в кино.
 +
 
 +
* Распознавание зданий на фотографиях.
  
 
=== Критерии оценки ===
 
=== Критерии оценки ===
 
4-5: Создать базу изображений. Найти особые точки на изображениях и посчитать их дескрипторы. Кластеризовать дескрипторы, выделить визуальные слова.
 
4-5: Создать базу изображений. Найти особые точки на изображениях и посчитать их дескрипторы. Кластеризовать дескрипторы, выделить визуальные слова.
 +
 
6: Организовать поиск наиболее похожего объекта по визуальным словам.
 
6: Организовать поиск наиболее похожего объекта по визуальным словам.
 +
 
7: Создать инвертированный индекс базы изображений, производить поиск только среди объектов у которых есть общие слова.
 
7: Создать инвертированный индекс базы изображений, производить поиск только среди объектов у которых есть общие слова.
 +
 
8-10: Анализировать геометрические связи между изображениями. Отсекать изображения-кандидаты, геометрически не соответствующие изображению-запросу.
 
8-10: Анализировать геометрические связи между изображениями. Отсекать изображения-кандидаты, геометрически не соответствующие изображению-запросу.
  
 
=== Ориентировочное расписание занятий ===
 
=== Ориентировочное расписание занятий ===
 
Пн 11:00-19:00
 
Пн 11:00-19:00
 +
 
Пт 11:00-18:00
 
Пт 11:00-18:00

Версия 22:33, 20 января 2016

Ментор Вадим Горбачёв
Учебный семестр Весна 2016
Учебный курс 1-й курс
Максимальное количество студентов, выбравших проект: 6



Что это за проект?

Современные поисковые системы позволяют искать информацию по различным видам запросов. Как по текстовым, так и по запросам в виде картинок, аудио или видео файлов. Предлагается рассмотреть как работает поисковая система при поиске изображений. Для этого создадим систему, реализующую основные принципы поиска по базе изображений. Нужно решить следующую практическую задачу: пользователь делает запрос в виде изображения афиши (плаката), которое он сделал, например, на свой смартфон. В ответ необходимо сообщить, что это за фильм, выдать по нему информацию или ссылку на Кинопоиск.

Чему вы научитесь?

  • Основам компьютерного зрения, обработки и анализа изображений.
  • Работе с библиотекой компьютерного зрения OpenCV.
  • Принципам работы с изображениями как с наборами визуальных слов для эффективного поиска по изображениям.
  • Общим принципам индексации и поиска в индексированных массивах данных.
  • Методам нахождения и выбора гипотез (закономерностей) при сильно зашумлённых данных.

Какие начальные требования?

  • Программирование на С++ или Python.
  • Желание изучать компьютерное зрение, работать с изображениями

Какие будут использоваться технологии?

  • OpenCV
  • K-means кластеризация
  • Bag-Of-Words
  • RANSAC

Темы вводных занятий

  • Работа с изображениями.
  • Библиотека OpenCV.
  • Особые точки на изображениях.
  • Детекторы и дескрипторы особых точек.
  • Технология мешка слов (Bag Of Words).
  • Оценка расположения изображений друг относительно друга.
  • Метод определения расположения с помощью случайных гипотез (RANSAC).

Направления развития

  • Ускорение результатов поиска, построение инвертированного индекса.
  • Коррекция результатов поиска, учитывающая возможные геометрические и ракурсные искажения исходного изображения.
  • Разработка мобильного приложения для фотографирования афиш и их последующего распознавания и выдачи информации о фильме или покупки билетов в кино.
  • Распознавание зданий на фотографиях.

Критерии оценки

4-5: Создать базу изображений. Найти особые точки на изображениях и посчитать их дескрипторы. Кластеризовать дескрипторы, выделить визуальные слова.

6: Организовать поиск наиболее похожего объекта по визуальным словам.

7: Создать инвертированный индекс базы изображений, производить поиск только среди объектов у которых есть общие слова.

8-10: Анализировать геометрические связи между изображениями. Отсекать изображения-кандидаты, геометрически не соответствующие изображению-запросу.

Ориентировочное расписание занятий

Пн 11:00-19:00

Пт 11:00-18:00