Автоматическая нарезка highlights из длинных игровых twitch streams (проект)
| Ментор | Пронькин Алексей |
| Учебный семестр | Осень 2017 |
| Учебный курс | 2-й курс |
| Максимальное количество студентов, выбравших проект: TBA | |
Что это за проект?
Нарезка самых интересных моментов видео по играм с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)
Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.
Чему вы научитесь?
- Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).
- Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).
- Использовать нейронные акустические модели и совершенствовать их скорость выполнения.
- Собирать production код с помощью tf.serve.
- Эффективно обрабатывать и рендерить видео через командную строку и python.
- Познакомитесь с Twitch.API.
Какие начальные требования?
Хорошее знание python. Желание писать и разбираться в длинном коде, желание изучить популярные архитектуры нейросетей вместе с огромной мотивацией.
Какие будут использоваться технологии?
Python, some JavaScript
Tensorflow(production) and(or) Pytorch
ffmpeg
InceptionV3,ResNet(ResNext),VGG(really old, but good feature extractor :-) ),SSD(YOLO),Enet(Unet)
https://github.com/TwitchDev/clips-samples
https://github.com/Franiac/TwitchLeecher
https://github.com/tensorflow/tensorflow
https://github.com/pytorch/pytorch
Темы вводных занятий
Вводное занятие по tensorflow и популярным архитектурам нейросетей (на случай, если Вам лень гуглить)
Помощь ментора
- Теоретическая консультация о текущих state of the art (если лень использовать Google)
- Hardware
- Помощь в рамках Skoltech Data Science Club (можно будет прийти к нам и спросить как решить какую либо проблему с кодом)
Критерии оценки
5-6: Одна нейросеть feature extractor + xgboost, результат вектор интересных секунд
6-7: Тоже самое, но добавлены фичи(активность, one hot на смайлики и так далее) из чата
7-8: Тоже, но на выходе смонтированное видео
8-10: Тоже, но анализируется наличие и положение вебкамеры, добавлена маленькая нейросеть предобученная на эмоции, которая анализирует вебкамеру
Возможно повышение оценки, если прототип работает и силы были потрачены на глубокое исследование одного из пунктов(чат, вебкамера, акустическая модель)
Ориентировочное расписание занятий
TBA
