Редактор параллельных разметок (проект) — различия между версиями

Версия 00:18, 13 января 2015

Что это за проект?

Мотивировка

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

Что такое разметка?

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского:
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ
Пример параллельной разметки можно увидеть на картинке справа.

Требования к разрабатываемой системе

Система должна предоставлять следующие функции (I):

1. создавать "новый проект" и загружать исходные файлы (от двух до N xml-файлов разметки)
2. выравнивать данные из разных файлов по токенам (возможны мелкие расхождения)
3. показывать расхождения
4. давать возможность пользователю выбрать один вариант ("правильный вариант")
5. автоматически выбирать "правильный вариант", если разметки для токена везде совпадают
6. выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
7. давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
8. сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
9. сохранять информацию о текущем состоянии в файл "проекта"
10. проверять валидность итогового xml-файла (с учетом п. 7)
11. сообщать, сколько разборов осталось неразмеченными, и переходить к следующему неразмеченному
12. давать возможность увидеть контекст (несколько токенов слева и справа от текущего), возможно - в виде всплывающего поля по клику (дизайн - на усмотрение разработчиков)

Дополнительные требования (II):

1. отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
2. показывать каппу inter-annotator agreement
3. ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
4. вручную менять порядок показа их разборов
5. особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
6. возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
7. убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).

Чему вы научитесь?

1. Основы проектирования и разработки клиент-серверных приложений
2. Базовые знания Unix Shell
3. Работа с нереляционными базами данных

Какие начальные требования?

1. Представление о технологиях создания веб-страниц
2. Основы языка программирования Python

Какие будут использоваться технологии?

1. HTML/CSS, JavaScript, JQuery
2. Python 2.7
3. WebPy/Web2Py/Django
4. Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
5. MongoDB
6. http-сервера Nginx, Gunicorn

Темы вводных занятий

1. Архитектура клиент-серверных приложений и основные принципы разработки
2. Нереляционные базы данных, преимущества, недостатки, особенности использования

Направления развития

1. Различные варианты усовершенствование архитектуры серверной части, механизмов и алгоритмов клиент-серверного взаимодействия

Критерии оценки

1. 4-5 - Система представляет собой клиент-серверное приложение, реализующее как минимум половину функции из списка требований (I)
2. 6-7 - Система, реализующая все функции из списка требований (I).
3. 8-10 - Система, реализующая функции все функции из списка требований (I), и, кроме того, реализованы 1-2 или более функций из списка Дополнительных требований (II). Для получения самого высокого балла (10) разработанная система должна иметь защиту от использования незарегистрированными пользователями, предоставлять возможность регистрации и входа в систему.