Глубинное обучение для текстовых данных 23/24 — различия между версиями

Текущая версия на 00:55, 7 декабря 2023

О курсе

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам.

В курсе мы постараемся дать вам понять и прочувствовать, что происходит в мире естественной обработки языка. Какие задачи бывают, какие проблемы встречаются в ходе их решения. Мы покажем, что NLP — это не набор пар (задача, решение), а общие идеи, которые применимы для решения множества задач и отражают некоторую общую концепцию.

Расписание

Лекции: каждый четверг в 13:00. Ссылка на зум.

Семинары: каждый четверг в 14:40. Сашин зум, Славин зум.

Полезные ссылки

Общий чат курса в telegram: https://t.me/+Nc5s_kMhUE44MWM6

Репозиторий курса на github: https://github.com/ashaba1in/hse-nlp

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB

Ссылка на anytask: https://anytask.org/course/1053

Инвайты: Сашина группа - Vai3xuK, Славина группа - Kutq97v

Табличка с оценками.

Преподаватели и ассистенты

Темы курса

1. Методы получения эмбеддингов слов: Счетные методы, Word2vec, GLOVE. Записи: лекция, семинар

2. Классификация текста. Записи: лекция, семинар

3. Токенизация, языковые модели. Записи: лекция, семинар

4. Рекуррентные нейронные сети. Записи: лекция, семинар

5. Seq2seq задача, механизм внимания, трансформер. Записи: лекция, семинар

6. Трансформерные модели: GPT, BERT. Записи: лекция, семинар

7. Как дообучать предобученные модели? Почему дообучать модель целиком не всегда хорошо? Parameter-Efficient Fine-Tunning (PEFT). Записи: лекция, семинар

8. Ускорение и сжатие модели. Дистилляция знаний, Квантизация. Записи: лекция, семинар

9. Трюки для обучения трансформеров, работа с длинным контекстом. Записи: лекция, семинар

10. Text style transfer. Записи: лекция (будет), семинар не проводился.

Домашние задания

Домашнее задание 1: Задание посвящено обучению векторных представлений слов.

Ссылка на ноутбук с заданием.

Домашнее задание 2: Задание посвящено обучению сверточных и рекуррентных нейронных сетей для задачи бинарной классификации.

Ссылка на ноутбук с заданием.

Домашнее задание 3: Задание посвящено обучению моделей на основе архитектуры Трансформер для задачи генерации текста, а так же методам семплирования токенов.

Ссылка на ноутбук с заданием.

Домашнее задание 4: Задание посвящено уменьшению размеров предобученной модели при дообучении на downstream задачу.

Ссылка на ноутбук с заданием.

Контрольная работа

Контрольная работа пройдет 02.11.2023 на лекции в формате письменной работы на 80 минут. Вопросы для подготовки.

Формула оценок

Определим накопленную оценку как Накоп = (0.4 * ДЗ + 0.3 * КР) / 0.7.

Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

• ДЗ — средняя оценка за домашние задания
• КР — оценка за контрольную работу
• Э — оценка за экзамен

Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.

Формат экзамена: устный.