|
|
| Строка 1: |
Строка 1: |
| − | {{Карточка_проекта
| |
| − | |name=Автоматическая нарезка хайлайтов из длинных стримов по одной популярной игре
| |
| − | |mentor=Пронькин Алексей
| |
| − | |mentor_login={{URLENCODE:Пронькин Алексей|WIKI}}
| |
| − | |semester=Осень 2017
| |
| − | |course=2
| |
| − | |summer=
| |
| − | |number_of_students=TBA
| |
| − | |categorize=yes
| |
| − | }}
| |
| | | | |
| − | === Что это за проект? ===
| |
| − | Нарезка самых интересных моментов видео по игре с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)
| |
| − |
| |
| − | Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.
| |
| − |
| |
| − | === Чему вы научитесь? ===
| |
| − | - Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).
| |
| − |
| |
| − | - Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).
| |
| − |
| |
| − | - Использовать нейронные акустические модели и совершенствовать их скорость выполнения.
| |
| − |
| |
| − | - Собирать production код с помощью tf.serve.
| |
| − |
| |
| − | - Эффективно обрабатывать и рендерить видео через командную строку и python.
| |
| − |
| |
| − | - Познакомитесь с Twitch.API.
| |
| − |
| |
| − | === Какие начальные требования? ===
| |
| − | Хорошее знание python. Желание писать и разбираться в длинном коде, желание изучить популярные архитектуры нейросетей вместе с огромной мотивацией.
| |
| − |
| |
| − | === Какие будут использоваться технологии? ===
| |
| − | Python, some JavaScript
| |
| − |
| |
| − | Tensorflow(production) and(or) Pytorch
| |
| − |
| |
| − | ffmpeg
| |
| − |
| |
| − | InceptionV3,ResNet(ResNext),VGG(really old, but good feature extractor :-) ),SSD(YOLO),Enet(Unet)
| |
| − |
| |
| − | https://github.com/TwitchDev/clips-samples
| |
| − |
| |
| − | https://github.com/Franiac/TwitchLeecher
| |
| − |
| |
| − | https://github.com/tensorflow/tensorflow
| |
| − |
| |
| − | https://github.com/pytorch/pytorch
| |
| − |
| |
| − | === Темы вводных занятий ===
| |
| − | Вводное занятие по tensorflow и популярным архитектурам нейросетей (на случай, если Вам лень гуглить)
| |
| − |
| |
| − | === Помощь ментора ===
| |
| − |
| |
| − | - Теоретическая консультация о текущих state of the art (если лень использовать Google)
| |
| − |
| |
| − | - Hardware
| |
| − |
| |
| − | - Помощь в рамках Skoltech Data Science Club (можно будет прийти к нам и спросить, как решить какую-либо проблему с кодом)
| |
| − |
| |
| − | === Критерии оценки ===
| |
| − | 5-6: Одна нейросеть feature extractor + xgboost, результат вектор интересных секунд
| |
| − |
| |
| − | 6-7: Тоже самое, но добавлены фичи(активность, one hot на смайлики и так далее) из чата
| |
| − |
| |
| − | 7-8: Тоже, но на выходе смонтированное видео
| |
| − |
| |
| − | 8-10: Тоже, но анализируется наличие и положение вебкамеры, добавлена маленькая нейросеть предобученная на эмоции, которая анализирует вебкамеру
| |
| − |
| |
| − | Возможно повышение оценки, если прототип работает и силы были потрачены на глубокое исследование одного из пунктов(чат, вебкамера, акустическая модель)
| |
| − |
| |
| − | === Ориентировочное расписание занятий ===
| |
| − | TBA
| |
