Демографический портрет пользователя (проект) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
| Строка 17: | Строка 17: | ||
* Писать надежный и понятный код (будет проводиться code review) | * Писать надежный и понятный код (будет проводиться code review) | ||
* методам обработке текста | * методам обработке текста | ||
| + | |||
* извлечению и генерации признаков для классификации | * извлечению и генерации признаков для классификации | ||
| − | * опыт в использовании алгоритмов машинного обучения | + | |
| + | * опыт в использовании алгоритмов машинного обучения | ||
| + | |||
* методам оценки результатов классификации | * методам оценки результатов классификации | ||
| Строка 26: | Строка 29: | ||
=== Какие будут использоваться технологии? === | === Какие будут использоваться технологии? === | ||
* Язык программирования Python | * Язык программирования Python | ||
| + | |||
* библиотеки NLTK, sklearn, numpy, PyMorphy | * библиотеки NLTK, sklearn, numpy, PyMorphy | ||
=== Темы вводных занятий === | === Темы вводных занятий === | ||
| − | + | * Работа с вебом и API социальных сетей | |
| − | + | ||
| − | + | * Алгоритмы классификации | |
| + | |||
| + | * Введение в автоматическую обработку текстов | ||
=== Направления развития === | === Направления развития === | ||
* Визуализация исходной выборки и результатов | * Визуализация исходной выборки и результатов | ||
| + | |||
* Визуализация работы классификатора | * Визуализация работы классификатора | ||
| + | |||
* Извлечения тем из сообщений и визуализация статистики по различным демографическим категориям ("облако" самых популярных слов/тем для разных категорий) | * Извлечения тем из сообщений и визуализация статистики по различным демографическим категориям ("облако" самых популярных слов/тем для разных категорий) | ||
=== Критерии оценки === | === Критерии оценки === | ||
| − | * 4-5 | + | * 4-5: работающий классификатор с минимальным составом признаков |
| − | * 6-7 | + | |
| − | * 8-9 | + | * 6-7: работающий классификатор, результат которого превышает baseline (результат заранее подготовленного примитивного классификатора) |
| − | * 10 | + | |
| + | * 8-9: классификатор, побивающий baseline, с визуализацией данных | ||
| + | |||
| + | * 10: классификатор, побивающий baseline, с визуализацией самых популярных слов/тем по различным категориям | ||
=== Ориентировочное расписание занятий === | === Ориентировочное расписание занятий === | ||
Уточняется | Уточняется | ||
Версия 15:33, 11 декабря 2015
| Ментор | [[Участник:Just_flare|Моисеев Георгий и Наседкин Александр]] |
| Учебный семестр | Весна 2016 |
| Учебный курс | 1-й курс |
| Максимальное количество студентов, выбравших проект: 5 | |
Что это за проект?
Проект предполагает определение демографических атрибутов пользователя (пол, возраст, уровень образования) по тексту его комментариев. Участникам предлагается выбрать интересующий их атрибут и разработать классификатор на основе алгоритмов машинного обучения определяющий выбранный атрибут. Проект может быть полезен для проведения социологических исследований, выявления каких-либо тенденций и мнений в социальных сетях.
Чему вы научитесь?
- Писать надежный и понятный код (будет проводиться code review)
- методам обработке текста
- извлечению и генерации признаков для классификации
- опыт в использовании алгоритмов машинного обучения
- методам оценки результатов классификации
Какие начальные требования?
Основы языка программирования Python
Какие будут использоваться технологии?
- Язык программирования Python
- библиотеки NLTK, sklearn, numpy, PyMorphy
Темы вводных занятий
- Работа с вебом и API социальных сетей
- Алгоритмы классификации
- Введение в автоматическую обработку текстов
Направления развития
- Визуализация исходной выборки и результатов
- Визуализация работы классификатора
- Извлечения тем из сообщений и визуализация статистики по различным демографическим категориям ("облако" самых популярных слов/тем для разных категорий)
Критерии оценки
- 4-5: работающий классификатор с минимальным составом признаков
- 6-7: работающий классификатор, результат которого превышает baseline (результат заранее подготовленного примитивного классификатора)
- 8-9: классификатор, побивающий baseline, с визуализацией данных
- 10: классификатор, побивающий baseline, с визуализацией самых популярных слов/тем по различным категориям
Ориентировочное расписание занятий
Уточняется
