Редактор параллельных разметок (проект)

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Ментор Фролов Дмитрий
Учебный семестр Весна 2015
Учебный курс 1-й курс



Что это за проект?

Мотивировка

Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

Что такое разметка?

Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского:
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ

Интерфейс должен уметь:

1) создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде)

2) выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)

3) показывать расхождения (подсветкой?)

4) давать возможность пользователю выбрать один ("правильный"), кликнув на нем

5) автоматически выбирать "правильный", если разметки для токена везде совпадают

6) выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)

7) давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)

8) сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)

9) сохранять информацию о текущем состоянии в файл "проекта"

10) проверять валидность итогового xml-файла (с учетом п. 7)

11) сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному

12) давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)

Желательные фичи: а) отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)

б) показывать каппу inter-annotator agreement
в) ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
г) вручную менять порядок показа их разборов
д) особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
е) возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
ж) убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).
---

Чему вы научитесь?

---

Какие начальные требования?

---

Какие будут использоваться технологии?

---

Темы вводных занятий

---

Направления развития

---

Критерии оценки

---