Сбор и обработка данных с помощью краудсорсинга 20/21 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показано 39 промежуточных версии 3 участников)
Строка 23: Строка 23:
 
Каждая домашка проверяется семинаристом, который ведет соответсвующий семинар, и разбалловка каждого задания определяется семинаристом.
 
Каждая домашка проверяется семинаристом, который ведет соответсвующий семинар, и разбалловка каждого задания определяется семинаристом.
  
Отлично: 80-100
+
Отлично: 75-100
  
Хорошо: 60-79
+
Хорошо: 55-74
  
Зачёт: 40-59
+
Зачёт: 35-54
  
Дедлайн: ХХ дней(скоро объявим, около 2х недель)
+
(Итоговая оценка получается следующим образом: сумма делится на 10 и частное округляется арифметически).
  
 
- можно сдать ДЗ в течение недели после дедлайна, потеряв 3 балла.
 
- можно сдать ДЗ в течение недели после дедлайна, потеряв 3 балла.
Строка 35: Строка 35:
 
- можно сдать по желанию ДЗ по истечении 1 недели после дедлайна с максимальной оценкой 5 баллов.
 
- можно сдать по желанию ДЗ по истечении 1 недели после дедлайна с максимальной оценкой 5 баллов.
  
'''Лектор:'''
 
  
 
Лекции проходят онлайн по понедельникам на 6 паре (18:10 - 19:30)
 
Лекции проходят онлайн по понедельникам на 6 паре (18:10 - 19:30)
 
Ссылка на конференцию:
 
 
'''Семинарист:'''
 
  
 
Семинары проходят онлайн по понедельникам на 5 паре (16:20 - 17:40)
 
Семинары проходят онлайн по понедельникам на 5 паре (16:20 - 17:40)
 
Ссылка на конференцию:
 
  
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
Строка 55: Строка 48:
 
=== Лекции ===
 
=== Лекции ===
  
# Введение и общая концепция краудсорсинга. [https://yadi.sk/d/GIUemjam95bJyg Слайды] [https://youtu.be/N7Pt0HMwdN4 Запись лекции]  
+
# Введение и общая концепция краудсорсинга. [https://yadi.sk/d/GIUemjam95bJyg Слайды лекции] [https://youtu.be/N7Pt0HMwdN4 Запись лекции]  [https://youtu.be/SsajKfROGeo Запись семинара] [https://yadi.sk/d/IyF4ZlxY_QGaGA Слайды семинара]
# Инструкция для краудсорсингового задания. [https://youtu.be/Vn54qO0RUIM Запись лекции] [https://yadi.sk/i/W7nnUZY-yXnN9A Слайды] Интерфейс задания. [Запись лекции https://youtu.be/fLqPMqiGshk] [https://yadi.sk/d/a1jt0B-Apk5elA Слайды лекции] [https://youtu.be/DYUy7wzT1t4 Запись семинара] [https://yadi.sk/i/O8kOAEcWVYO3wQ Слайды семинара]
+
# Инструкция для краудсорсингового задания. [https://youtu.be/Vn54qO0RUIM Запись лекции] [https://yadi.sk/i/W7nnUZY-yXnN9A Слайды] Интерфейс задания. [https://youtu.be/fLqPMqiGshk Запись лекции] [https://yadi.sk/d/a1jt0B-Apk5elA Слайды лекции] [https://youtu.be/DYUy7wzT1t4 Запись семинара] [https://yadi.sk/i/O8kOAEcWVYO3wQ Слайды семинара]
# Основные компоненты краудсорсинга (II): Контроль качества. [https://yadi.sk/i/UQtGw8GRiofh9w Слайды] [https://youtu.be/ZtI6d9mCxRU Запись лекции]
+
# Основные компоненты краудсорсинга (II): Контроль качества. [https://yadi.sk/i/S4OyoPeUKSLB_w Слайды лекции] [https://youtu.be/ZtI6d9mCxRU Запись лекции] [https://yadi.sk/i/WQkeuDJIK0LlNQ Слайды семинара]
# Классификация и, в отдельности, классификация изображений  
+
# Классификация и, в отдельности, классификация изображений. [https://yadi.sk/i/5gtcXL6R9ziWUQ Слайды лекции] [https://yadi.sk/i/2tyvCq0iRALgrw Слайды семинара раз] [https://yadi.sk/i/2mqtSXFvi8B7cQ Слайды семинара два]
# Агрегация
+
# Агрегация. [https://yadi.sk/d/_exqRJODhnXhKg Слайды лекции] [https://yadi.sk/i/1wAOeRxd3_LN9A Слайды семинара]
# Динамическое перекрытие и прайсинг  
+
# Динамическое перекрытие и прайсинг. [https://yadi.sk/d/7OqTCkqyMLviJQ Слайды лекции]
# Краудсорсинг для компьютерного зрения: Беспилотники и стартап Neatsy  
+
# Краудсорсинг для компьютерного зрения: Беспилотники и стартап Neatsy. [https://youtu.be/feYyB_EHX9M Запись лекции] [https://yadi.sk/i/SkB9a1scIzDycA Слайды лекции] [https://youtu.be/mUI-I74_ydU Запись семинара]
# Генерация контента  
+
# API и насущные вопросы по домашкам. [https://youtu.be/LkhI-cD0XDA Запись семинара]
# Попарное сравнение SbS
+
# Генерация контента. [https://youtu.be/y6lQFH70DGE Запись лекции] [https://yadi.sk/d/FvYoPGFC-jI_hw Слайды лекции][https://youtu.be/1e4128Ssbgw Запись семинара] [https://yadi.sk/i/IfCdsgVYHxQJcA Слайды семинара]
# Пешеходные задания и Гео-аналитика  
+
# Попарное сравнение SbS. [https://youtu.be/v5mEl_CWbNo Запись лекции] [https://yadi.sk/i/M9oUxIeMLIr0Yg Слайды лекции]
# Аннотирование звучащей речи для Голосовых Технологий и Агрегация ответов в аннотировании аудиозаписей  
+
# Пешеходные задания и Гео-аналитика. [https://youtu.be/lNlryFfxFSs Запись лекции 1] [https://youtu.be/583SeYbbYqI Запись лекции 2] [https://youtu.be/S0bNydZayKM Запись семинара]
# Тестирование и Заключение
+
# Аннотирование звучащей речи для Голосовых Технологий и Агрегация ответов в аннотировании аудиозаписей. [https://youtu.be/euHodrltV68 Запись лекции 1] [https://youtu.be/d5qmNWOVOlk Запись лекции 2] [https://youtu.be/_4X8UpLvs8w Запись семинара]
 +
# Тестирование и Заключение [https://youtu.be/OsE8soCjWl4 Запись лекции] [https://youtu.be/hnJfMec8dO8 Запись семинара]
  
 
=== Семинары ===
 
=== Семинары ===
# Введение в краудсорсинг на практике. [https://yadi.sk/d/IyF4ZlxY_QGaGA Слайды]
+
# Введение в краудсорсинг на практике
 
# Создание первого пайплайна
 
# Создание первого пайплайна
 
# Создание интерфейса  
 
# Создание интерфейса  
Строка 84: Строка 78:
  
 
=== Домашние задания ===
 
=== Домашние задания ===
 
+
Инвайт в anytask: Qg41Grx
'''Домашнее задание 1'''
+
 
+
 
+
Выдается:  
+
Дедлайн:
+
 
+
 
+
== Литература ==
+

Текущая версия на 19:13, 14 декабря 2020

О курсе

Курс по выбору для студентов 3 и 4 курса в 1-2 модулях.

Описание

В настоящее время практически любая содержательная задача по анализу данных или ML требует сбора размеченных данных, которые, как правило, нужны в большом количестве и требуют привлечения ручного труда. Работа с краудоявляется одним из востребованных и ключевых навыков, которыми необходимо уметь пользоваться специалистам по анализу данных, если они хотят расти и решать все более крупные и амбициозные задачи.

Краудсорсинг применяется не только на стадии анализа и при построении ML-моделей, но также в замкнутых производственных и продуктовых процессах (парадигма human-in-the-loop). Наиболее яркими продуктами Яндекса, в боевых процессах которых используется "крауд, являются: голосовой помощник Алиса, Поиск, Яндекс.Переводчик, Яндекс.Драйв, Яндекс.Справочник, Яндекс.Картинки и др.

Специалисты по краудсорсингу уже остро востребованы как на российском, так и на зарубежном рынке. Из нашего опыты выпускники нашего курса востребованы как в Яндексе, так и в других российских компаниях, таких как Ozon, Авито, Сбер. На международном рынке Google, Facebook, Huawei, Tesla, Amazon, Netflix, Microsoft тоже постоянно решают подобные задачи, требующие знаний методов краудсорсинга.

Наши преподаватели — специалисты из разных сервисов Яндекса, которые регулярно используют краудсорсинг для решения таких задач как определение релевантности поисковой выдачи, тестирования и распознавание речи или объектов на изображениях.

Результаты обучения на курсе

Студенты, прошедшие данный образовательный курс, будут обладать глубоким пониманием и систематизированной картиной технологий краудсорсинга, что должно повысить эффективность работы продуктовых процессов. Будет очень интересно!

Пререквизиты курса

Требуются базовые навыки программирования на Python и базовые знания html, js и css будут плюсами

Критерии оценивания

10 домашек, которые в сумме составляют 100 баллов

Каждая домашка проверяется семинаристом, который ведет соответсвующий семинар, и разбалловка каждого задания определяется семинаристом.

Отлично: 75-100

Хорошо: 55-74

Зачёт: 35-54

(Итоговая оценка получается следующим образом: сумма делится на 10 и частное округляется арифметически).

- можно сдать ДЗ в течение недели после дедлайна, потеряв 3 балла.

- можно сдать по желанию ДЗ по истечении 1 недели после дедлайна с максимальной оценкой 5 баллов.


Лекции проходят онлайн по понедельникам на 6 паре (18:10 - 19:30)

Семинары проходят онлайн по понедельникам на 5 паре (16:20 - 17:40)

Полезные ссылки

Телеграм-чат курса: https://t.me/crowd_course_2020

План курса

Лекции

  1. Введение и общая концепция краудсорсинга. Слайды лекции Запись лекции Запись семинара Слайды семинара
  2. Инструкция для краудсорсингового задания. Запись лекции Слайды Интерфейс задания. Запись лекции Слайды лекции Запись семинара Слайды семинара
  3. Основные компоненты краудсорсинга (II): Контроль качества. Слайды лекции Запись лекции Слайды семинара
  4. Классификация и, в отдельности, классификация изображений. Слайды лекции Слайды семинара раз Слайды семинара два
  5. Агрегация. Слайды лекции Слайды семинара
  6. Динамическое перекрытие и прайсинг. Слайды лекции
  7. Краудсорсинг для компьютерного зрения: Беспилотники и стартап Neatsy. Запись лекции Слайды лекции Запись семинара
  8. API и насущные вопросы по домашкам. Запись семинара
  9. Генерация контента. Запись лекции Слайды лекцииЗапись семинара Слайды семинара
  10. Попарное сравнение SbS. Запись лекции Слайды лекции
  11. Пешеходные задания и Гео-аналитика. Запись лекции 1 Запись лекции 2 Запись семинара
  12. Аннотирование звучащей речи для Голосовых Технологий и Агрегация ответов в аннотировании аудиозаписей. Запись лекции 1 Запись лекции 2 Запись семинара
  13. Тестирование и Заключение Запись лекции Запись семинара

Семинары

  1. Введение в краудсорсинг на практике
  2. Создание первого пайплайна
  3. Создание интерфейса
  4. Антифрод
  5. Простая и сложная классификация
  6. Програмирование модели агрегации
  7. Работа с API
  8. Краудсорсинг для CV
  9. Генерация контента
  10. Агрегация SbS
  11. Пешеходное задание
  12. Агрегация ответов аннотированных аудиозаписей
  13. Тестирование

Домашние задания

Инвайт в anytask: Qg41Grx