Утилита для очистки текстов от обсценной лексики (проект) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м
 
(не показано 11 промежуточных версии 3 участников)
Строка 7: Строка 7:
 
|summer=
 
|summer=
 
|categorize=yes
 
|categorize=yes
 +
|is_archived=yes
 
}}
 
}}
  
Строка 14: Строка 15:
 
В частности, для того, чтобы результаты данного сервиса приносили пользу лицам младше 18 лет, тексты корпуса должны быть отчищены от обсценной лексики.
 
В частности, для того, чтобы результаты данного сервиса приносили пользу лицам младше 18 лет, тексты корпуса должны быть отчищены от обсценной лексики.
  
В рамках данного проекта предлагается разработать программу, позволяющую очищать тексты от матерной, нецензурной мата и другой нецензурной лексики.
+
В рамках данного проекта предлагается разработать программу, позволяющую очищать тексты от матерной и другой нецензурной лексики.
  
 
=== Чему вы научитесь? ===
 
=== Чему вы научитесь? ===
Методы автоматической  обработки текстов
+
#Основные задачи автоматической обработки текстов
#Токенизация (разбиение текста на слова и определение границ предложения)
+
#Некоторые методы автоматической  обработки текстов
#Морфологический анализ (определение частей речи)
+
##Токенизация (разбиение текста на слова и определение границ предложения)
 +
##Лемматизация (привидение слова к начальной форме)
 +
##Морфологический анализ (определение частей речи)
  
 
=== Какие начальные требования? ===
 
=== Какие начальные требования? ===
Строка 28: Строка 31:
  
 
=== Какие будут использоваться технологии? ===
 
=== Какие будут использоваться технологии? ===
* python.
+
* python
* git, github
+
* NLTK
 
+
* gensim
=== Темы вводных занятий ===
+
* pymorphy2
 
+
  
 
=== Направления развития ===
 
=== Направления развития ===
Реализованный прототип может быть использован как компонент вышеуказанного web-сервиса.
+
Реализованный прототип может быть использован как компонент вышеуказанного web-сервиса или как самостоятельное приложение для очистки произвольного входного текста.
  
 
=== Критерии оценки ===
 
=== Критерии оценки ===
4-5: очистка по словарю и индексирование<br />
+
4-5: индексирование текстов из корпуса SketchEngine с помощью gensim и очистка по словарю обсцененной лексики<br />
6-7: + использованием лемматизации<br />
+
6-7: + с использованием лемматизации корпуса SketchEngine <br />
8-10: + разработка экспериментальной площадки для оценки точности-полноты работы на произвольном тексте<br />
+
8-10: + разработка экспериментальной площадки для оценки точности-полноты очистки корпуса SketchEngine  или использование утилиты на произвольном входном тексте<br />

Текущая версия на 10:52, 20 октября 2015

Ментор Шестаков Андрей
Учебный семестр Весна 2015
Учебный курс 1-й курс


Внимание! Данный проект находится в архиве и реализован не будет.

Что это за проект?

SketchEngine - это сервис обработки текстовых корпусов, который показывает наиболее типичные перепредставленные и недопредставленные пары слов, синтаксически связанных в предложении. Для того, чтобы сервис выдавал осмысленные и приемлемые результаты, к исходному корпусу языка предъявляется ряд требований.

В частности, для того, чтобы результаты данного сервиса приносили пользу лицам младше 18 лет, тексты корпуса должны быть отчищены от обсценной лексики.

В рамках данного проекта предлагается разработать программу, позволяющую очищать тексты от матерной и другой нецензурной лексики.

Чему вы научитесь?

  1. Основные задачи автоматической обработки текстов
  2. Некоторые методы автоматической обработки текстов
    1. Токенизация (разбиение текста на слова и определение границ предложения)
    2. Лемматизация (привидение слова к начальной форме)
    3. Морфологический анализ (определение частей речи)

Какие начальные требования?

  • Знание python
  • Умение работать с *nix (желательно)

Проект не подразумевает разработку графической оболочки.

Какие будут использоваться технологии?

  • python
  • NLTK
  • gensim
  • pymorphy2

Направления развития

Реализованный прототип может быть использован как компонент вышеуказанного web-сервиса или как самостоятельное приложение для очистки произвольного входного текста.

Критерии оценки

4-5: индексирование текстов из корпуса SketchEngine с помощью gensim и очистка по словарю обсцененной лексики
6-7: + с использованием лемматизации корпуса SketchEngine
8-10: + разработка экспериментальной площадки для оценки точности-полноты очистки корпуса SketchEngine или использование утилиты на произвольном входном тексте