Автоматическая нарезка highlights из длинных игровых twitch streams (проект) — различия между версиями

Версия 23:37, 28 сентября 2017

Что это за проект?

Нарезка самых интересных моментов видео по играм с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)

Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.

Помощь ментора:

- Теоретическая консультация о текущих state of the art (если лень использовать Google)

- Hardware

- Помощь в рамках Skoltech Data Science Club

Проект не простой, поэтому предполагается, что Вы уже хорошо знаете питон, представляете как работают сверточные и рекуррентные нейросети, имеете много времени и мотивации.

Чему вы научитесь?

- Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).

- Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).

- Использовать нейронные акустические модели и совершенствовать их скорость выполнения.

- Собирать production код с помощью tf.serve.

- Эффективно обрабатывать и рендерить видео через командную строку и python.

- Познакомитесь с Twitch.API.

Какие начальные требования?

Хорошее знание python. Желание писать и разбираться в длинном коде, желание изучить популярные архитектуры нейросетей вместе с огромной мотивацией.

Какие будут использоваться технологии?

TBA

Темы вводных занятий

TBA

Направления развития

TBA

Критерии оценки

TBA

Ориентировочное расписание занятий

TBA