Разработка системы сбора новостей

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Ментор Паринов Андрей
Учебный семестр Осень 2018
Учебный курс 2-й курс
Максимальное количество студентов, выбравших проект: ?



Описание проекта

На сегодняшний день новости играют важную роль. Важно собирать данные из разных источников и выделять сущности, упоминаемые в тексте.

Чему научатся студенты?

  • Обрабатывать данные различных форматов и источников данных.
  • Разрабатывать распределенные программы.
  • Проведению аналитика с использование текстовых ана


Какие технологии будут использоваться?

Python 3, Flask RestFul \ Django Rest Framework

Требования, предъявляемые к студентам

Python 3

Темы вводных занятий

Scrapy, Проектирование БД

Критерии оценки итогового результата по проекту

· Разработка краулера сбора данных новостного сайта (4 балла)

· Разработка простейшего парсера сущностей (5 баллов)

· Разработка веб-сервиса (6 баллов)

· Разработка клиентского приложения ( 7 баллов)

· Разработка БД для хранения новостей и сущностей (8 баллов)

· Разработка улучшеннего парсера сущностей. Проведение сравнительного эксперимента на собранных данных (9)

· Написание качественного исследовательского отчета по сравнению библиотек NLP (10 баллов)

Контакты

Паринов Андрей aparinov@hse.ru