Анализ неструктурированных данных — различия между версиями
Dmitry (обсуждение | вклад) (→Неделя 3 (18-26 сентября)) |
Katya (обсуждение | вклад) (→Программа) |
||
| Строка 61: | Строка 61: | ||
'''Семинар''': Библиотеки lxml, beautifulsoup, scrapy. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_1.pdf (ссылка)] (дедлайн на все 23.59 14.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/0kyl4w7rhaih90f/sem2.pdf?dl=0 (слайды с семинара)] | '''Семинар''': Библиотеки lxml, beautifulsoup, scrapy. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_1.pdf (ссылка)] (дедлайн на все 23.59 14.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/0kyl4w7rhaih90f/sem2.pdf?dl=0 (слайды с семинара)] | ||
| − | ==== Неделя 3 (18- | + | ==== Неделя 3 (18-24 сентября) ==== |
'''Лекция (Е. Черняк)''': Морфологический анализ, основные задачи и подходы. Стеммер Портера, поиск по словарю, скрытые цепи Маркова. Современные задачи морфологического анализа. [https://www.dropbox.com/s/urdf9cpsnp6uvml/2_morph.pdf?dl=0 (слайды)] | '''Лекция (Е. Черняк)''': Морфологический анализ, основные задачи и подходы. Стеммер Портера, поиск по словарю, скрытые цепи Маркова. Современные задачи морфологического анализа. [https://www.dropbox.com/s/urdf9cpsnp6uvml/2_morph.pdf?dl=0 (слайды)] | ||
'''Семинар''': SENNA, Томита-парсер, отношения между словами. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_3.pdf (ссылка)], слайды семинара 19.09 [http://dmitryfrolov.com/pdf/sem3_new.pdf (ссылка)]. Задание для БПМИ142 МОП [http://wiki.cs.hse.ru/images/7/7c/Task.png (ссылка)]. (дедлайн на все 23.59 21.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/hvojoqp7zb3p4sk/sem3__Copy_.pdf?dl=0 (слайды с семинара вместе с заданием)] | '''Семинар''': SENNA, Томита-парсер, отношения между словами. Задание для группы 3-4 курс, вечер: [http://dmitryfrolov.com/pdf/task_3.pdf (ссылка)], слайды семинара 19.09 [http://dmitryfrolov.com/pdf/sem3_new.pdf (ссылка)]. Задание для БПМИ142 МОП [http://wiki.cs.hse.ru/images/7/7c/Task.png (ссылка)]. (дедлайн на все 23.59 21.09, делается и присылается индивидуально!). [https://www.dropbox.com/s/hvojoqp7zb3p4sk/sem3__Copy_.pdf?dl=0 (слайды с семинара вместе с заданием)] | ||
| + | |||
| + | ==== Неделя 4 (25 сентября – 1 снтября) ==== | ||
| + | |||
| + | '''Приглашенная лекция (Иван Смуров)''' '''Синтаксический анализ (syntactic parsing)''' - одна из классических задач NLP, заключающейся в построении по последовательности текста соответствующего ей синтаксического разбора. Задача имеет продолжительную и богатую историю и решалась с помощью различных методов - от вероятностных контекстно-свободных грамматик до нейросетей с использованием sequence-to-sequence архитектур. На лекции будет рассказано о популярном в литературе подходе - использованию transition-based парсеров. Этод подход, восходящий к shift-reduce анализаторам классических логик, был впервые использован в применении к задаче синтаксического анализа Й. Нивре в 2003 году. В 2014 году метод был адаптирован для использования нейросетей Д. Ченом и К. Маннингом из Стенфордского университета и, наконец, в 2016 он послужил основой для популярного парсера SynaxNet, разработанного в Google | ||
| + | |||
| + | О лекторе: | ||
| + | Иван Смуров – сотрудник кафедр Алгоритмов и Технологий Программирования и Компьютерной Лингвистики МФТИ, разрабатчик научно-исследовательского отдела компании ABBYY. Является специалистом по машинному обучению, компьютерной и вычислительной лингвистике, математической логике. Область основных интересов – обработка текстов на естественных языках. | ||
=== Рекомендуемые ресурсы === | === Рекомендуемые ресурсы === | ||
Версия 13:00, 25 сентября 2017
Содержание
О курсе
Курс читается для студентов 3-го и 4-го курсов ПМИ ФКН ВШЭ в 1-2 модулях.
Лекторы: Петр Алексеевич Ромов, Екатерина Леонидовна Черняк
Лекции проходят по вторникам, 15:10 – 16:30 , ауд. 509.
Полезные ссылки
Репозиторий с материалами на GitHub: https://github.com/HSE-NLP
Сдача домашних заданий по электронной почте: amilinguaHW@gmail.com
telegram: https://t.me/nlp_hse
Семинары
| Группа | Преподаватель | Расписание |
|---|---|---|
| АДИС | Дмитрий Фролов | вторник, 18:10 – 19:30, ауд. 501 |
| БПМИ141 МОП | Анна Шишкова | четверг, 13:40 – 15:00, ауд. 322 |
| БПМИ142 МОП | Мурат Апишев | четверг, 10:30 – 11:50, ауд. 322 |
Дата выдачи/сдачи дз
TBA
Система оценок
Результирующая оценка рассчитывается по формуле:
Oитоговая = 0.8 * Oнакопл + 0.2 * Оэкз
Накопленная оценка рассчитывается по формуле:
Oнакопл = 0.4 * Oпроект1 + 0.4 * Oпроект2 + 0.2 * (Одз + Осем) / 2
Программа
Неделя 1 (4-10 сентября)
Лекция (Е. Черняк): Обзор курса: мастер-классы, кейсы, проекты. Введение в автоматическую обработку текстов. (слайды)
Семинар: Библиотека nltk (слайды и дз) (код с семинара)
Неделя 2 (11-17 сентября)
Лекция (П. Ромов): Форматы данных, способы хранения, принципы работы интернета. Краулинг. Regexp. Unicode. (слайды)
Семинар: Библиотеки lxml, beautifulsoup, scrapy. Задание для группы 3-4 курс, вечер: (ссылка) (дедлайн на все 23.59 14.09, делается и присылается индивидуально!). (слайды с семинара)
Неделя 3 (18-24 сентября)
Лекция (Е. Черняк): Морфологический анализ, основные задачи и подходы. Стеммер Портера, поиск по словарю, скрытые цепи Маркова. Современные задачи морфологического анализа. (слайды)
Семинар: SENNA, Томита-парсер, отношения между словами. Задание для группы 3-4 курс, вечер: (ссылка), слайды семинара 19.09 (ссылка). Задание для БПМИ142 МОП (ссылка). (дедлайн на все 23.59 21.09, делается и присылается индивидуально!). (слайды с семинара вместе с заданием)
Неделя 4 (25 сентября – 1 снтября)
Приглашенная лекция (Иван Смуров) Синтаксический анализ (syntactic parsing) - одна из классических задач NLP, заключающейся в построении по последовательности текста соответствующего ей синтаксического разбора. Задача имеет продолжительную и богатую историю и решалась с помощью различных методов - от вероятностных контекстно-свободных грамматик до нейросетей с использованием sequence-to-sequence архитектур. На лекции будет рассказано о популярном в литературе подходе - использованию transition-based парсеров. Этод подход, восходящий к shift-reduce анализаторам классических логик, был впервые использован в применении к задаче синтаксического анализа Й. Нивре в 2003 году. В 2014 году метод был адаптирован для использования нейросетей Д. Ченом и К. Маннингом из Стенфордского университета и, наконец, в 2016 он послужил основой для популярного парсера SynaxNet, разработанного в Google
О лекторе: Иван Смуров – сотрудник кафедр Алгоритмов и Технологий Программирования и Компьютерной Лингвистики МФТИ, разрабатчик научно-исследовательского отдела компании ABBYY. Является специалистом по машинному обучению, компьютерной и вычислительной лингвистике, математической логике. Область основных интересов – обработка текстов на естественных языках.
Рекомендуемые ресурсы
На английском
- Jurafsky & Martin (link)
- Курс Лауры Каллмайер по МО для АОТ (link)
- Курс Нильса Раймерса по DL для АОТ (link)
- Курс в Оксфорде по DL для АОТ (link)
На русском (и про русский, в основном)
- НКРЯ (link)
- Открытый корпус (link)
- Дистрибутивные семантические модели для русского языка (link)
- Морфология (link)
- Синтаксис (link)
- Томита-парсер (link)
- Все на свете: (mathlingvo), (nlpub)
Ссылка на дополнительную литературу:
- [1] Books on natural language processing
Литература
- Manning, Christopher D., and Hinrich Schütze. Foundations of statistical natural language processing. Vol. 999. Cambridge: MIT press, 1999.
- Martin, James H., and Daniel Jurafsky. "Speech and language processing." International Edition 710 (2000): 25.
- Cohen, Shay. "Bayesian analysis in natural language processing." Synthesis Lectures on Human Language Technologies 9, no. 2 (2016): 1-274.
- Goldberg, Yoav. "Neural Network Methods for Natural Language Processing." Synthesis Lectures on Human Language Technologies 10, no. 1 (2017): 1-309.
