Сбор и обработка данных с помощью краудсорсинга 20/21 — различия между версиями
Kris ros (обсуждение | вклад) |
|||
(не показано 60 промежуточных версии 4 участников) | |||
Строка 23: | Строка 23: | ||
Каждая домашка проверяется семинаристом, который ведет соответсвующий семинар, и разбалловка каждого задания определяется семинаристом. | Каждая домашка проверяется семинаристом, который ведет соответсвующий семинар, и разбалловка каждого задания определяется семинаристом. | ||
− | Отлично: | + | Отлично: 75-100 |
− | Хорошо: | + | Хорошо: 55-74 |
− | Зачёт: | + | Зачёт: 35-54 |
− | + | (Итоговая оценка получается следующим образом: сумма делится на 10 и частное округляется арифметически). | |
- можно сдать ДЗ в течение недели после дедлайна, потеряв 3 балла. | - можно сдать ДЗ в течение недели после дедлайна, потеряв 3 балла. | ||
Строка 35: | Строка 35: | ||
- можно сдать по желанию ДЗ по истечении 1 недели после дедлайна с максимальной оценкой 5 баллов. | - можно сдать по желанию ДЗ по истечении 1 недели после дедлайна с максимальной оценкой 5 баллов. | ||
− | |||
Лекции проходят онлайн по понедельникам на 6 паре (18:10 - 19:30) | Лекции проходят онлайн по понедельникам на 6 паре (18:10 - 19:30) | ||
− | |||
− | |||
− | |||
− | |||
Семинары проходят онлайн по понедельникам на 5 паре (16:20 - 17:40) | Семинары проходят онлайн по понедельникам на 5 паре (16:20 - 17:40) | ||
− | |||
− | |||
=== Полезные ссылки === | === Полезные ссылки === | ||
− | + | Телеграм-чат курса: https://t.me/crowd_course_2020 | |
− | + | ||
− | Телеграм-чат курса: | + | |
− | + | ||
− | + | ||
== План курса == | == План курса == | ||
=== Лекции === | === Лекции === | ||
+ | |||
+ | # Введение и общая концепция краудсорсинга. [https://yadi.sk/d/GIUemjam95bJyg Слайды лекции] [https://youtu.be/N7Pt0HMwdN4 Запись лекции] [https://youtu.be/SsajKfROGeo Запись семинара] [https://yadi.sk/d/IyF4ZlxY_QGaGA Слайды семинара] | ||
+ | # Инструкция для краудсорсингового задания. [https://youtu.be/Vn54qO0RUIM Запись лекции] [https://yadi.sk/i/W7nnUZY-yXnN9A Слайды] Интерфейс задания. [https://youtu.be/fLqPMqiGshk Запись лекции] [https://yadi.sk/d/a1jt0B-Apk5elA Слайды лекции] [https://youtu.be/DYUy7wzT1t4 Запись семинара] [https://yadi.sk/i/O8kOAEcWVYO3wQ Слайды семинара] | ||
+ | # Основные компоненты краудсорсинга (II): Контроль качества. [https://yadi.sk/i/S4OyoPeUKSLB_w Слайды лекции] [https://youtu.be/ZtI6d9mCxRU Запись лекции] [https://yadi.sk/i/WQkeuDJIK0LlNQ Слайды семинара] | ||
+ | # Классификация и, в отдельности, классификация изображений. [https://yadi.sk/i/5gtcXL6R9ziWUQ Слайды лекции] [https://yadi.sk/i/2tyvCq0iRALgrw Слайды семинара раз] [https://yadi.sk/i/2mqtSXFvi8B7cQ Слайды семинара два] | ||
+ | # Агрегация. [https://yadi.sk/d/_exqRJODhnXhKg Слайды лекции] [https://yadi.sk/i/1wAOeRxd3_LN9A Слайды семинара] | ||
+ | # Динамическое перекрытие и прайсинг. [https://yadi.sk/d/7OqTCkqyMLviJQ Слайды лекции] | ||
+ | # Краудсорсинг для компьютерного зрения: Беспилотники и стартап Neatsy. [https://youtu.be/feYyB_EHX9M Запись лекции] [https://yadi.sk/i/SkB9a1scIzDycA Слайды лекции] [https://youtu.be/mUI-I74_ydU Запись семинара] | ||
+ | # API и насущные вопросы по домашкам. [https://youtu.be/LkhI-cD0XDA Запись семинара] | ||
+ | # Генерация контента. [https://youtu.be/y6lQFH70DGE Запись лекции] [https://yadi.sk/d/FvYoPGFC-jI_hw Слайды лекции][https://youtu.be/1e4128Ssbgw Запись семинара] [https://yadi.sk/i/IfCdsgVYHxQJcA Слайды семинара] | ||
+ | # Попарное сравнение SbS. [https://youtu.be/v5mEl_CWbNo Запись лекции] [https://yadi.sk/i/M9oUxIeMLIr0Yg Слайды лекции] | ||
+ | # Пешеходные задания и Гео-аналитика. [https://youtu.be/lNlryFfxFSs Запись лекции 1] [https://youtu.be/583SeYbbYqI Запись лекции 2] [https://youtu.be/S0bNydZayKM Запись семинара] | ||
+ | # Аннотирование звучащей речи для Голосовых Технологий и Агрегация ответов в аннотировании аудиозаписей. [https://youtu.be/euHodrltV68 Запись лекции 1] [https://youtu.be/d5qmNWOVOlk Запись лекции 2] [https://youtu.be/_4X8UpLvs8w Запись семинара] | ||
+ | # Тестирование и Заключение [https://youtu.be/OsE8soCjWl4 Запись лекции] [https://youtu.be/hnJfMec8dO8 Запись семинара] | ||
=== Семинары === | === Семинары === | ||
+ | # Введение в краудсорсинг на практике | ||
+ | # Создание первого пайплайна | ||
+ | # Создание интерфейса | ||
+ | # Антифрод | ||
+ | # Простая и сложная классификация | ||
+ | # Програмирование модели агрегации | ||
+ | # Работа с API | ||
+ | # Краудсорсинг для CV | ||
+ | # Генерация контента | ||
+ | # Агрегация SbS | ||
+ | # Пешеходное задание | ||
+ | # Агрегация ответов аннотированных аудиозаписей | ||
+ | # Тестирование | ||
=== Домашние задания === | === Домашние задания === | ||
− | + | Инвайт в anytask: Qg41Grx | |
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + |
Текущая версия на 19:13, 14 декабря 2020
Содержание
О курсе
Курс по выбору для студентов 3 и 4 курса в 1-2 модулях.
Описание
В настоящее время практически любая содержательная задача по анализу данных или ML требует сбора размеченных данных, которые, как правило, нужны в большом количестве и требуют привлечения ручного труда. Работа с краудоявляется одним из востребованных и ключевых навыков, которыми необходимо уметь пользоваться специалистам по анализу данных, если они хотят расти и решать все более крупные и амбициозные задачи.
Краудсорсинг применяется не только на стадии анализа и при построении ML-моделей, но также в замкнутых производственных и продуктовых процессах (парадигма human-in-the-loop). Наиболее яркими продуктами Яндекса, в боевых процессах которых используется "крауд, являются: голосовой помощник Алиса, Поиск, Яндекс.Переводчик, Яндекс.Драйв, Яндекс.Справочник, Яндекс.Картинки и др.
Специалисты по краудсорсингу уже остро востребованы как на российском, так и на зарубежном рынке. Из нашего опыты выпускники нашего курса востребованы как в Яндексе, так и в других российских компаниях, таких как Ozon, Авито, Сбер. На международном рынке Google, Facebook, Huawei, Tesla, Amazon, Netflix, Microsoft тоже постоянно решают подобные задачи, требующие знаний методов краудсорсинга.
Наши преподаватели — специалисты из разных сервисов Яндекса, которые регулярно используют краудсорсинг для решения таких задач как определение релевантности поисковой выдачи, тестирования и распознавание речи или объектов на изображениях.
Результаты обучения на курсе
Студенты, прошедшие данный образовательный курс, будут обладать глубоким пониманием и систематизированной картиной технологий краудсорсинга, что должно повысить эффективность работы продуктовых процессов. Будет очень интересно!
Пререквизиты курса
Требуются базовые навыки программирования на Python и базовые знания html, js и css будут плюсами
Критерии оценивания
10 домашек, которые в сумме составляют 100 баллов
Каждая домашка проверяется семинаристом, который ведет соответсвующий семинар, и разбалловка каждого задания определяется семинаристом.
Отлично: 75-100
Хорошо: 55-74
Зачёт: 35-54
(Итоговая оценка получается следующим образом: сумма делится на 10 и частное округляется арифметически).
- можно сдать ДЗ в течение недели после дедлайна, потеряв 3 балла.
- можно сдать по желанию ДЗ по истечении 1 недели после дедлайна с максимальной оценкой 5 баллов.
Лекции проходят онлайн по понедельникам на 6 паре (18:10 - 19:30)
Семинары проходят онлайн по понедельникам на 5 паре (16:20 - 17:40)
Полезные ссылки
Телеграм-чат курса: https://t.me/crowd_course_2020
План курса
Лекции
- Введение и общая концепция краудсорсинга. Слайды лекции Запись лекции Запись семинара Слайды семинара
- Инструкция для краудсорсингового задания. Запись лекции Слайды Интерфейс задания. Запись лекции Слайды лекции Запись семинара Слайды семинара
- Основные компоненты краудсорсинга (II): Контроль качества. Слайды лекции Запись лекции Слайды семинара
- Классификация и, в отдельности, классификация изображений. Слайды лекции Слайды семинара раз Слайды семинара два
- Агрегация. Слайды лекции Слайды семинара
- Динамическое перекрытие и прайсинг. Слайды лекции
- Краудсорсинг для компьютерного зрения: Беспилотники и стартап Neatsy. Запись лекции Слайды лекции Запись семинара
- API и насущные вопросы по домашкам. Запись семинара
- Генерация контента. Запись лекции Слайды лекцииЗапись семинара Слайды семинара
- Попарное сравнение SbS. Запись лекции Слайды лекции
- Пешеходные задания и Гео-аналитика. Запись лекции 1 Запись лекции 2 Запись семинара
- Аннотирование звучащей речи для Голосовых Технологий и Агрегация ответов в аннотировании аудиозаписей. Запись лекции 1 Запись лекции 2 Запись семинара
- Тестирование и Заключение Запись лекции Запись семинара
Семинары
- Введение в краудсорсинг на практике
- Создание первого пайплайна
- Создание интерфейса
- Антифрод
- Простая и сложная классификация
- Програмирование модели агрегации
- Работа с API
- Краудсорсинг для CV
- Генерация контента
- Агрегация SbS
- Пешеходное задание
- Агрегация ответов аннотированных аудиозаписей
- Тестирование
Домашние задания
Инвайт в anytask: Qg41Grx