Автоматическая нарезка highlights из длинных игровых twitch streams (проект) — различия между версиями

Версия 23:34, 28 сентября 2017

Что это за проект?

Нарезка самых интересных моментов видео по играм с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)

Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.

Помощь ментора:

- Теоретическая консультация о текущих state of the art (если лень использовать Google)

- Hardware

- Помощь в рамках Skoltech Data Science Club

Проект не простой, поэтому предполагается, что Вы уже хорошо знаете питон, представляете как работают сверточные и рекуррентные нейросети, имеете много времени и мотивации.

Чему вы научитесь?

Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор). Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO). Использовать нейронные акустические модели и совершенствовать их скорость выполнения. Собирать production код с помощью tf.serve. Эффективно обрабатывать и рендерить видео через командную строку и python. Познакомитесь с Twitch.API.

Какие начальные требования?

TBA

Какие будут использоваться технологии?

TBA

Темы вводных занятий

TBA

Направления развития

TBA

Критерии оценки

TBA

Ориентировочное расписание занятий

TBA