Версия 20:26, 25 ноября 2015

Обо мне

Меня зовут Конушин Антон. Я доцент департамент больших данных и информационного поиска ФКН НИУ ВШЭ и академический руководитель ОП "Прикладная математика и информатика". Также я руковожу лабораторией компьютерной графики и мультимедиа ВМК МГУ (http://graphics.cs.msu.ru/ru) и читаю лекции в Школе Анализа Данных Яндекса. Мои основные научные интересы - это компьютерное зрение, машинное обучение и компьютерная графика.

Научные интересы и предлагаемые темы работ

Основное приложение методов компьютерного зрения, которое мне сейчас интересно, это "разбор видео", т.е. извлечение всей возможной информации из видеоданных. Главный рассматриваемый сейчас сценарий - это работа с данными видеонаблюдения. На выходе нужно получить список наблюдаемых людей и объектов, траектории их движения в кадре, их характеристики, и даже трёхмерную модель каждого объекта. Решение такой задачи требует решения множества подзадач - выделение интересующих объектов в кадре и их частей, сопровождение объектов (т.е. построение траекторий), идентификация, распознавание атрибутов, оценка 3х мерной формы и т.д.. Используемые методы можно разделить на три группы - построение признакового описания, классификация, и оценка параметров моделей. Сейчас задачи извлечения признаков из изображений и классификации решаются совместно с использованием нейросетей, за счёт которых наблюдается бурный прогресс компьютерного зрения в последние несколько лет. Задача оценки параметров моделей с использованием имеющихся параметрических моделей, как мне кажется, временно отошла на второй план, но остаётся наиболее перспективным подходом для решения некоторых задач, в которых, например, данных никогда не будет достаточно для явного обучения нейросетей из-за слишком высокой размерности множества выходных параметров.

Задачи, которые я предлагаю в качестве тем курсовых и ВКР, можно условно разделить на 3 группы:

• Изучение и развитие отдельных методов для нейросетей (например, исследование пакетной нормализации при обучении нейросетей)
• Создание и совершенствование методов решения отдельных подзадач (например, детектор объектов)
• Развитие генеративных методов (например, Разбор двухмерных сцен с помощью порождающих моделей)

Большинство задач подходят одновременно и как курсовая для разных курсов, и как выпускная работа. Различие будет в масштабе проработки задачи. Например, в одном случае будет достаточно разобраться с библиотекой, воспроизвести алгоритм из статьи и провести его экспериментальную оценку. В другом случае, нужно будет его усовершенствовать.

При работе с нейросетями в качестве основного инструмента я предлагаю использовать библиотеку Caffe, одну из самых популярных для нейросетей. Писать с нуля реализацию нейросетей не вижу большого смысла. С другой стороны, для порождающих моделей, опирающихся на разные методы оптимизации, в основном на метод Монте-Карло в Марковских цепях, на данный момент нет столь же качественных библиотек. Поэтому придется реализовывать некоторые базовые процедуры или переписывать их, опираясь на реализации в других языках и пакетах. Так, например, порождающие модели (как часть интересной области "вероятностного программирования") активно исследуются в MIT, реализованы на внутреннем языке Julia, и хакерскими костылями стыкуются с библиотеками на других языках, что делает их непригодными для широкого использования. Поэтому в этой области есть возможность внести свой вклад в создание чего-то более востребованного, в т.ч. и получая консультации от авторов методов.

Ещё один аспект. Ряд предложенных тем попадают в тематику гранта РФФИ "Развитие новых методов глубинного обучения в задачах обучения по большим объемам данных" (руководитель Дмитрий Петрович Ветров), участником которого являюсь я и мой аспирант. Выбрав соответствующую тему и хорошо себя проявив вы получаете возможность войти в исследовательский коллектив этого проекта.

Список тем (2015-2016 учебный год)

Исследование нейросетевых архитектур на базе CIFAR (Evaluation of neural architectures on CIFAR) 2-3

Исследование методов обучения нейросетевых архитектур (Evaluation of CNN training methods) 2-4

Исследование процедуры пакетной нормализации при обучении нейросетей (Evaluation of batch normalization for CNN) 2-4

Исследование параметров обучения нейросетевых каскадов (Evaluation of training parameters for neural cascade) 2-3

Дистилляция нейросетей (Distilling neural networks) 2-4

Определение марки и цвета автомобиля с помощью нейросетей ( Car type and color estimation with neural networks) 2-4

Определение цвета одежды человека (Clothing color estimation) 2-4

Нейросетевой детектор объектов (CNN-based object detector) 2-4

Сегментация изображений на основе нейросетей (Image segmentation with CNN) 2-4

Исследование рекуррентных нейросетей для описания изображений (Evaluation of RNN for image description) 2-4

Исследование порождающих нейросетей для генерации изображений (Image synthesis with generative neural networks) 2-4

Поиск изображений по содержанию (Content-based image retrieval) 3-4

Аннотация персонажей в видео (Person annotation in video) 2-4

Определение наличия голоса в аудиодорожке (Voice detection in audio stream) 2-4

Распознавание персонажей по голосу в видеофильмах (Voice-based person recognition in movies) 2-4

Разбор двухмерных сцен с помощью порождающих моделей (2D scene parsing with generative models) 2-3

Разбор трёхмерных сцен с помощью порождающих моделей (3D scene parsing with generative models) 2-4

Подсчёт и сопровождение людей с камеры Kinect (People counting and tracking with Kinect) 4

Материалы

• Caffe - deep learning framework - наиболее активно используемая моими студентами библиотека нейросетей
• - A Primer on Neural Network Models for Natural Language Processing хорошее введение в нейросети на примере анализа текстов
• - Neural Networks and Deep Learning - неплохая небольшая книга по глуибнному обучению, с которой можно начинать изучение
• Deep Learning book - черновая версия книги Yoshua Bengio, Ian Goodfellow and Aaron Courville про глубинное обучение
• robertsdionne/neural-network-papers - Хорошая коллекция статей про нейросети. Заметную часть мы будем разбирать на семинарах.
• Colah blog - блог с хорошим описанием ряда вопросов по нейросетям
• Nuit Blance blog - блог с описанием разных моментов по машинному обучению
• Курс Стенфорда по нейросетям - Много интересных материалов по нейросетям
• [1] - Хороший тьюториал Стенфорда
• Facebook Moscow Computer Vision Group - страница семинара по компьютерному зрению в ШАД с дайджестами интересных ссылок