Автоматическая нарезка highlights из длинных игровых twitch streams (проект) — различия между версиями
Строка 26: | Строка 26: | ||
=== Чему вы научитесь? === | === Чему вы научитесь? === | ||
− | Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор). | + | - Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор). |
− | Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO). | + | |
− | Использовать нейронные акустические модели и совершенствовать их скорость выполнения. | + | - Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO). |
− | Собирать production код с помощью tf.serve. | + | |
− | Эффективно обрабатывать и рендерить видео через командную строку и python. | + | - Использовать нейронные акустические модели и совершенствовать их скорость выполнения. |
− | Познакомитесь с Twitch.API. | + | |
+ | - Собирать production код с помощью tf.serve. | ||
+ | |||
+ | - Эффективно обрабатывать и рендерить видео через командную строку и python. | ||
+ | |||
+ | - Познакомитесь с Twitch.API. | ||
=== Какие начальные требования? === | === Какие начальные требования? === |
Версия 23:35, 28 сентября 2017
Ментор | Пронькин Алексей |
Учебный семестр | Осень 2017 |
Учебный курс | 2-й курс |
Максимальное количество студентов, выбравших проект: TBA | |
Что это за проект?
Нарезка самых интересных моментов видео по играм с помощью машинного обучения(CV, NLP, speech recognition/acoustic models)
Выборка: функция clips на twitch (30-60 секундные видео, которые делают зрители стрима) для определенной популярной игры.
Помощь ментора:
- Теоретическая консультация о текущих state of the art (если лень использовать Google)
- Hardware
- Помощь в рамках Skoltech Data Science Club
Проект не простой, поэтому предполагается, что Вы уже хорошо знаете питон, представляете как работают сверточные и рекуррентные нейросети, имеете много времени и мотивации.
Чему вы научитесь?
- Использовать один из фрейморков для deep learning (tensorflow или pytorch, на выбор).
- Использовать быстрые архитектуры свёрточных глубоких нейронных сетей для классификации (Inception-v3), сегментации (ENet) и детекции (SSD, YOLO).
- Использовать нейронные акустические модели и совершенствовать их скорость выполнения.
- Собирать production код с помощью tf.serve.
- Эффективно обрабатывать и рендерить видео через командную строку и python.
- Познакомитесь с Twitch.API.
Какие начальные требования?
TBA
Какие будут использоваться технологии?
TBA
Темы вводных занятий
TBA
Направления развития
TBA
Критерии оценки
TBA
Ориентировочное расписание занятий
TBA