Глубинное обучение для текстовых данных 24/25 — различия между версиями

Версия 18:45, 15 октября 2024

О курсе

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели. Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

Расписание

Лекция: Вторник 16:20. Ссылка на zoom.

Семинары:

• Группа 1 (Биршерт): Четверг 18:10. Ссылка на zoom.
• Группа 2 (Панков): Вторник 18:10. Ссылка на zoom.

Полезные ссылки

Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

Темы курса

1. Классификация текста. Записи: лекция, семинар

2. Генерация текста. Методы токенизации. Записи: лекция, семинар

3. Рекуррентные нейронные сети. Трансформер. Записи: лекция, семинар

4. Декодирование текста. BERT. GPT. Записи: лекция, семинар

5. Современные языковые модели. Записи: лекция

Преподаватели и ассистенты

Домашние задания

1. Text Suggestion: условие

2. Рекуррентные нейронные сети: условие

Контрольная работа

Формула оценок

Определим накопленную оценку как Накоп = (0.4 * ДЗ + 0.3 * КР) / 0.7.

Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

• ДЗ — средняя оценка за домашние задания
• КР — оценка за контрольную работу
• Э — оценка за экзамен

Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.

Формат экзамена: устный.