Анализ видеопоследовательностей для автоматического поиска и выделения рекламы

Ментор	Горбачёв Вадим
Учебный семестр	Осень 2016
Учебный курс	2-й курс
Максимальное количество студентов, выбравших проект: 6

Что это за проект?

Цель проекта проста - убрать рекламу из видео или телевизионной трансляции. Для решения этой задачи предлагается применять с одной стороны подходы, навеянные Computer Vision - а именно визуальные дескрипторы и "мешок слов" для описания видео, а с другой стороны - биоинформатикой, её аспектами посвящёнными поиску общих фрагментов в последовательностях. Подзадачей этой проблемы является автоматическое создание базы рекламных роликов. Для этого предлагается использовать тот факт, что рекламные ролики повторяются в трансляции, а собственно контент как правило не повторяется. Поиск повторяющихся фрагментов видеопоследовательности и поиск фрагментов из базы в видеопоследовательности могут быть реализованы с помощью одних и тех же подходов и способов описания видео.

Чему вы научитесь?

Работать с библиотекой анализа изображений и видео OpenCV

Основным принципам анализа видео как трёхмерной структуры и использованием трёхмерных особых точек для анализа видео

Концепции "мешка слов", которая применяется в различных видах поиска - текстов, изображений, видео

Какие начальные требования?

Программирование на С++/Python

Опыт работы с OpenCV приветствуется

Какие будут использоваться технологии?

OpenCV

Visual Word

Bag of Words

Optical Flow

Темы вводных занятий

Особые точки на изображениях, что такое особые точки на видео

Метод "мешка слов"

Оптический поток

Поиск подпоследовательностей

Направления развития

Сделать возможным работу алгоритма в режиме online в видеопотоке (с помощью буферизации)

Критерии оценки

Выделить и кластеризовать особые точки на видео, сопоставить видеопоследовательности последовательность "визуальных слов" - 4

Выполнить поиск рекламных роликов в видеопоследовательности (записи эфира) используя методы поиска подстрок в строках 5-6

Выполнить поиск повторяющихся последовательностей (рекламных роликов) в видеопоследовательности используя методы поиска подстрок в строках 7

Выполнить поиск рекламных роликов в видеопоследовательности (записи эфира) используя методы неточного выравнивания последовательностей (методы биоинформатики) 8

Выполнить поиск повторяющихся последовательностей (рекламных роликов) в видеопоследовательности используя методы неточного выравнивания последовательностей 9

Выполнить анализ оптического потока для уточнения границы сцен - 10

Ориентировочное расписание занятий

Понедельник, вторник или четверг вечером, суббота утром. Будние утром по договорённости