Автоматическая нарезка highlights из длинных игровых twitch streams (проект) — различия между версиями
(→Критерии оценки) |
|||
Строка 65: | Строка 65: | ||
=== Критерии оценки === | === Критерии оценки === | ||
− | + | 5-6: Одна нейросеть feature extractor + xgboost, результат вектор интересных секунд | |
+ | |||
+ | 6-7: Тоже самое, но добавлены фичи(активность, one hot на смайлики и так далее) из чата | ||
+ | |||
+ | 7-8: Тоже, но на выходе смонтированное видео | ||
+ | |||
+ | 8-10: Тоже, но анализируется наличие и положение вебкамеры, добавлена маленькая нейросеть предобученная на эмоции, которая анализирует вебкамеру | ||
+ | |||
+ | Возможно повышение оценки, если прототип работает и силы были потрачены на глубокое исследование одного из пунктов(чат, вебкамера, акустическая модель) | ||
=== Ориентировочное расписание занятий === | === Ориентировочное расписание занятий === | ||
TBA | TBA |
Версия 23:54, 28 сентября 2017
Ментор | Пронькин Алексей |
Учебный семестр | Осень 2017 |
Учебный курс | 2-й курс |
Максимальное количество студентов, выбравших проект: TBA | |
Что это за проект?
Нарезка самых интересных моментов видео по играм с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)
Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.
Помощь ментора:
- Теоретическая консультация о текущих state of the art (если лень использовать Google)
- Hardware
- Помощь в рамках Skoltech Data Science Club
Проект не простой, поэтому предполагается, что Вы уже хорошо знаете питон, представляете как работают сверточные и рекуррентные нейросети, имеете много времени и мотивации.
Чему вы научитесь?
- Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).
- Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).
- Использовать нейронные акустические модели и совершенствовать их скорость выполнения.
- Собирать production код с помощью tf.serve.
- Эффективно обрабатывать и рендерить видео через командную строку и python.
- Познакомитесь с Twitch.API.
Какие начальные требования?
Хорошее знание python. Желание писать и разбираться в длинном коде, желание изучить популярные архитектуры нейросетей вместе с огромной мотивацией.
Какие будут использоваться технологии?
Python, some JavaScript
Tensorflow(production) and(or) Pytorch
ffmpeg
InceptionV3,ResNet(ResNext),VGG(really old, but good feature extractor :-) ),SSD(YOLO),Enet(Unet)
https://github.com/TwitchDev/clips-samples
https://github.com/Franiac/TwitchLeecher
https://github.com/tensorflow/tensorflow
https://github.com/pytorch/pytorch
Темы вводных занятий
TBA
Направления развития
TBA
Критерии оценки
5-6: Одна нейросеть feature extractor + xgboost, результат вектор интересных секунд
6-7: Тоже самое, но добавлены фичи(активность, one hot на смайлики и так далее) из чата
7-8: Тоже, но на выходе смонтированное видео
8-10: Тоже, но анализируется наличие и положение вебкамеры, добавлена маленькая нейросеть предобученная на эмоции, которая анализирует вебкамеру
Возможно повышение оценки, если прототип работает и силы были потрачены на глубокое исследование одного из пунктов(чат, вебкамера, акустическая модель)
Ориентировочное расписание занятий
TBA