|
|
Строка 1: |
Строка 1: |
− | {{Карточка_проекта
| |
− | |name=Автоматическая нарезка хайлайтов из длинных стримов по одной популярной игре
| |
− | |mentor=Пронькин Алексей
| |
− | |mentor_login={{URLENCODE:Пронькин Алексей|WIKI}}
| |
− | |semester=Осень 2017
| |
− | |course=2
| |
− | |summer=
| |
− | |number_of_students=TBA
| |
− | |categorize=yes
| |
− | }}
| |
| | | |
− | === Что это за проект? ===
| |
− | Нарезка самых интересных моментов видео по игре с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)
| |
− |
| |
− | Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.
| |
− |
| |
− | === Чему вы научитесь? ===
| |
− | - Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).
| |
− |
| |
− | - Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).
| |
− |
| |
− | - Использовать нейронные акустические модели и совершенствовать их скорость выполнения.
| |
− |
| |
− | - Собирать production код с помощью tf.serve.
| |
− |
| |
− | - Эффективно обрабатывать и рендерить видео через командную строку и python.
| |
− |
| |
− | - Познакомитесь с Twitch.API.
| |
− |
| |
− | === Какие начальные требования? ===
| |
− | Хорошее знание python. Желание писать и разбираться в длинном коде, желание изучить популярные архитектуры нейросетей вместе с огромной мотивацией.
| |
− |
| |
− | === Какие будут использоваться технологии? ===
| |
− | Python, some JavaScript
| |
− |
| |
− | Tensorflow(production) and(or) Pytorch
| |
− |
| |
− | ffmpeg
| |
− |
| |
− | InceptionV3,ResNet(ResNext),VGG(really old, but good feature extractor :-) ),SSD(YOLO),Enet(Unet)
| |
− |
| |
− | https://github.com/TwitchDev/clips-samples
| |
− |
| |
− | https://github.com/Franiac/TwitchLeecher
| |
− |
| |
− | https://github.com/tensorflow/tensorflow
| |
− |
| |
− | https://github.com/pytorch/pytorch
| |
− |
| |
− | === Темы вводных занятий ===
| |
− | Вводное занятие по tensorflow и популярным архитектурам нейросетей (на случай, если Вам лень гуглить)
| |
− |
| |
− | === Помощь ментора ===
| |
− |
| |
− | - Теоретическая консультация о текущих state of the art (если лень использовать Google)
| |
− |
| |
− | - Hardware
| |
− |
| |
− | - Помощь в рамках Skoltech Data Science Club (можно будет прийти к нам и спросить, как решить какую-либо проблему с кодом)
| |
− |
| |
− | === Критерии оценки ===
| |
− | 5-6: Одна нейросеть feature extractor + xgboost, результат вектор интересных секунд
| |
− |
| |
− | 6-7: Тоже самое, но добавлены фичи(активность, one hot на смайлики и так далее) из чата
| |
− |
| |
− | 7-8: Тоже, но на выходе смонтированное видео
| |
− |
| |
− | 8-10: Тоже, но анализируется наличие и положение вебкамеры, добавлена маленькая нейросеть предобученная на эмоции, которая анализирует вебкамеру
| |
− |
| |
− | Возможно повышение оценки, если прототип работает и силы были потрачены на глубокое исследование одного из пунктов(чат, вебкамера, акустическая модель)
| |
− |
| |
− | === Ориентировочное расписание занятий ===
| |
− | TBA
| |