Компьютерная лингвистика и информационные технологии 2020 — различия между версиями
MashPo (обсуждение | вклад) |
MashPo (обсуждение | вклад) (mlp) |
||
| Строка 58: | Строка 58: | ||
|- | |- | ||
| 9 октября || переобучение, кросс-валидация|| [https://www.youtube.com/watch?v=xHZtS4gc7NM&feature=youtu.be youtube] || [https://github.com/vmkhlv/hse_compling_and_it/tree/master/week_05 github] || [https://docs.google.com/forms/d/e/1FAIpQLScDfK3Pr_haGWUDC052lFFEW4yFE5uFs2BNwDyuA8z__RR2cQ/viewform дз 4] || 25 октября 23:59 | | 9 октября || переобучение, кросс-валидация|| [https://www.youtube.com/watch?v=xHZtS4gc7NM&feature=youtu.be youtube] || [https://github.com/vmkhlv/hse_compling_and_it/tree/master/week_05 github] || [https://docs.google.com/forms/d/e/1FAIpQLScDfK3Pr_haGWUDC052lFFEW4yFE5uFs2BNwDyuA8z__RR2cQ/viewform дз 4] || 25 октября 23:59 | ||
| − | + | |- | |
| + | | 15 октября || MLP (перцептрон), forward pass|| -- || -- || -- || -- | ||
| + | |- | ||
| + | | 11 ноября || MLP (перцептрон), backward pass|| [https://www.youtube.com/watch?v=85hFCYYTsdI&feature=youtu.be youtube] || -- || -- || -- | ||
|} | |} | ||
Версия 17:15, 16 ноября 2020
Содержание
[убрать]О курсе
Курс читается для бакалавров 4-го курса ФГН в рамках программы "Фундаментальная и компьютерная лингвистика" в 1-3 модулях.
Преподаватели:
- блок “Информационный поиск“:
Дроздова Ксения Андреевна (Telegram )
- блок “Компьютерная лингвистика“:
Олег Сериков (Почта, Telegram ), Мария Пономарева (Почта, Telegram ), Влад Михайлов (Почта, Telegram )
Ассистенты: Кирилл Коновалов(Почта, Telegram ), Дарья Самсонова(Почта, Telegram )
Содержание учебной дисциплины
- Блок “Информационный поиск“
- Введение в информационный поиск, булев поиск, обратный индекс, Okapi BM25, семантический поиск, векторные модели, модель выделения корня слова, основанная на RNN, логирование, добавление в поисковик
- Блок “Компьютерная лингвистика“
- Предобработка данных
- Базовые понятия машинного обучения, алгоритмы машинного обучения для задач классификации, кластеризации и регрессии
- Избранные главы математики для машинного обучения
- FFN, CNN, RNN, LSTM
- Sequence-to-sequence, Sequence Tagging, Language Modeling
- Статические эмбеддинги (Word2Vec, FastText)
- Контекстуальные эмбеддинги (BERT, ELMo)
Материалы курса:
| дата занятия | тема | видео | материалы | ссылка на дз | дедлайн |
|---|---|---|---|---|---|
| 11 сентября | подготовка данных | youtube | github | квиз 1 | 23 сентября 23:59 |
| 17 сентября | векторизация текстовых данных | youtube | github | дз 2 | 7 октября 23:59 |
| 25 сентября | классификация | youtube | github | дз 3 | 11 октября 23:59 |
| 2 октября | регрессия, аугментация | youtube | github | квиз 2 | 14 октября 23:59 |
| 9 октября | переобучение, кросс-валидация | youtube | github | дз 4 | 25 октября 23:59 |
| 15 октября | MLP (перцептрон), forward pass | -- | -- | -- | -- |
| 11 ноября | MLP (перцептрон), backward pass | youtube | -- | -- | -- |
Формула оценки
Промежуточная аттестация (1 модуль)
0.5 * Блок “Информационный поиск” + 0.5 * Блок “Компьютерная лингвистика”:
Блок “Информационный поиск”: 0.7 * Домашние задания + 0.3 * Экзамен (Модуль 1)
Блок “Компьютерная лингвистика”: 0.8 * Домашние задания + 0.2 * Тесты
Накопленная оценка (Модуль 2-3):
0.7 * Домашние задания (Модуль 2-3) + 0.3 * Тесты (Модуль 2-3)
Итоговая аттестация:
0.3 * (Промежуточная аттестация (1 модуль)) + 0.3 * (Накопленная оценка (Модуль 2-3)) + 0.2 * Промежуточный контроль (Модуль 2) + 0.2 * Экзамен (Модуль 3)
Рекомендованная литература
- Daniel Jurafsky & James H. Martin. Speech and Language Processing: An introduction to natural language processing, computational linguistics, and speech recognition. Third Edition. https://web.stanford.edu/~jurafsky/slp3/
- Николаев И.С., Митренина О.В., Ландо Т.М. (ред.) Прикладная и компьютерная лингвистика. Изд 2. URSS. 2017. 320 с.
- Steven Bird, Ewan Klein, Edward Loper. Natural Language Processing with Python. – Analyzing Text with the Natural Language Toolkit. https://www.nltk.org/book/
- Christopher D. Manning & Hinrich Schütze. Foundations of Statistical Natural Language Processing. MIT Press, 1999.
- Yoav Goldberg. Neural Network Methods for Natural Language Processing (Synthesis Lectures on Human Language Technologies). Edited by Graeme Hirst. Morgan & Claypool 2017
- Cборники конференций COLING, ACL, EACL, LREC, EMNLP, NAACL, "Диалог" последних лет
