Утилита для очистки текстов от обсценной лексики (проект)

Ментор	Шестаков Андрей
Учебный семестр	Весна 2015
Учебный курс	1-й курс

Что это за проект?

SketchEngine - это сервис обработки текстовых корпусов, который показывает наиболее типичные перепредставленные и недопредставленные пары слов, синтаксически связанных в предложении. Для того, чтобы сервис выдавал осмысленные и приемлемые результаты, к исходному корпусу языка предъявляется ряд требований.

В частности, для того, чтобы результаты данного сервиса приносили пользу лицам младше 18 лет, тексты корпуса должны быть отчищены от обсценной лексики.

В рамках данного проекта предлагается разработать программу, позволяющую очищать тексты от матерной и другой нецензурной лексики.

Чему вы научитесь?

1. Основные задачи автоматической обработки текстов
2. Некоторые методы автоматической обработки текстов
   1. Токенизация (разбиение текста на слова и определение границ предложения)
   2. Лемматизация (привидение слова к начальной форме)
   3. Морфологический анализ (определение частей речи)

Какие начальные требования?

• Знание python
• Умение работать с *nix (желательно)

Проект не подразумевает разработку графической оболочки.

Какие будут использоваться технологии?

• python
• NLTK
• gensim
• pymorphy2

Направления развития

Реализованный прототип может быть использован как компонент вышеуказанного web-сервиса или как самостоятельное приложение для очистки произвольного входного текста.

Критерии оценки

4-5: индексирование текстов с помощью gensim и очистка по словарю
6-7: + с использованием лемматизации
8-10: + разработка экспериментальной площадки для оценки точности-полноты или использование на произвольном входном тексте