Автоматическая нарезка highlights из длинных игровых twitch streams (проект)

Ментор	Пронькин Алексей
Учебный семестр	Осень 2017
Учебный курс	2-й курс
Максимальное количество студентов, выбравших проект: TBA

Что это за проект?

Нарезка самых интересных моментов видео по играм с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)

Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.

Помощь ментора:

- Теоретическая консультация о текущих state of the art (если лень использовать Google)

- Hardware

- Помощь в рамках Skoltech Data Science Club

Проект не простой, поэтому предполагается, что Вы уже хорошо знаете питон, представляете как работают сверточные и рекуррентные нейросети, имеете много времени и мотивации.

Чему вы научитесь?

- Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).

- Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).

- Использовать нейронные акустические модели и совершенствовать их скорость выполнения.

- Собирать production код с помощью tf.serve.

- Эффективно обрабатывать и рендерить видео через командную строку и python.

- Познакомитесь с Twitch.API.

Какие начальные требования?

Хорошее знание python. Желание писать и разбираться в длинном коде, желание изучить популярные архитектуры нейросетей вместе с огромной мотивацией.

Какие будут использоваться технологии?

Python, some JavaScript

Tensorflow(production) and(or) Pytorch

ffmpeg

InceptionV3,ResNet(ResNext),VGG(really old, but good feature extractor :-) ),SSD(YOLO),Enet(Unet)

https://github.com/TwitchDev/clips-samples

https://github.com/Franiac/TwitchLeecher

https://github.com/tensorflow/tensorflow

https://github.com/pytorch/pytorch

Темы вводных занятий

TBA

Направления развития

TBA

Критерии оценки

TBA

Ориентировочное расписание занятий

TBA