Автоматическая нарезка хайлайтов из длинных стримов по одной популярной игре (проект)
| Ментор | Пронькин Алексей |
| Учебный семестр | Осень 2017 |
| Учебный курс | 2-й курс |
| Максимальное количество студентов, выбравших проект: 7 | |
Что это за проект?
Нарезка самых интересных моментов видео по игре с помощью машинного обучения(CV, NLP, speech recognition/acoustic models, популярная нерешенная задача video summarizing)
Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.
Чему вы научитесь?
- Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).
- Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).
- Использовать нейронные акустические модели и совершенствовать их скорость выполнения.
- Собирать production код с помощью tf.serve.
- Эффективно обрабатывать и рендерить видео через командную строку и python.
- Познакомитесь с Twitch.API.
Какие начальные требования?
Хорошее знание python. Желание писать и разбираться в длинном коде, стараться приводить его к production виду, много и долго разбираться в чужом коде. Знание (или огромное желание изучить) популярных(ые) архитектур(ы) нейросетей.
Проект не очень простой, поэтому предполагается, что Вы уже неплохо знаете питон, представляете как работают сверточные и рекуррентные нейросети, имеете много времени и мотивации.
Какие будут использоваться технологии?
Python, some JavaScript
Tensorflow(production) and(or) Pytorch
ffmpeg
InceptionV3,ResNet(ResNext),VGG(really old, but good feature extractor :-) ),SSD(YOLO),Enet(Unet)
https://github.com/TwitchDev/clips-samples
https://github.com/Franiac/TwitchLeecher
https://github.com/tensorflow/tensorflow
https://github.com/pytorch/pytorch
Темы вводных занятий
Вводное занятие по tensorflow и популярным архитектурам нейросетей, настройка окружения, выбор фреймворков. Далее занятие по дедлайнам с демонстрацией Вашего кода.
Помощь ментора
- Теоретическая консультация о текущих state of the art (если лень использовать Google)
- Hardware
- Помощь в рамках Skoltech Data Science Club (можно будет прийти к нам и спросить, как решить какую-либо проблему с кодом)
Направления развития
Доведение прототипа до сервиса, которым могут пользоваться как зрители, так и сами стримеры для создания контента. Исследования в области повышения качества сервиса и метрик. Оптимизация кода.
Критерии оценки
Ориентировочные критерии за КТ3:
4-6: Одна нейросеть feature extractor + xgboost, результат вектор номеров интересных фреймов(секунд)
6-7: Тоже самое, но добавлены фичи(активность, one hot на смайлики и так далее) из чата
7-8: Тоже, но на выходе смонтированное видео
8-10: Тоже, но анализируется наличие и положение вебкамеры, добавлена маленькая нейросеть предобученная на эмоции, которая анализирует вебкамеру
Возможно повышение оценки, если прототип работает и силы были потрачены на глубокое исследование одного из пунктов(чат, вебкамера, акустическая модель)
Ориентировочное расписание занятий
СР 14.00-..., СБ 14.00-..., ВТ ...-..., остальные дни занят, но расписание меняется в каждом новом модуле.
Контакты
По поводу данного проекта с любыми вопросами Вы можете написать мне в telegram: avpronkin или на почту из wiki профиля.
