Глубинное обучение для текстовых данных 24/25 — различия между версиями
| Строка 38: | Строка 38: | ||
6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция] | 6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция] | ||
| + | |||
| + | == Домашние задания == | ||
| + | |||
| + | 1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие] | ||
| + | |||
| + | 2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие] | ||
| + | |||
| + | 3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие] | ||
| + | |||
== Преподаватели и ассистенты == | == Преподаватели и ассистенты == | ||
| Строка 53: | Строка 62: | ||
|} | |} | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
== Контрольная работа == | == Контрольная работа == | ||
Версия 15:43, 29 октября 2024
Содержание
О курсе
NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели. Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.
Расписание
Лекция: Вторник 16:20. Ссылка на zoom.
Семинары:
- Группа 1 (Биршерт): Четверг 18:10. Ссылка на zoom.
- Группа 2 (Панков): Вторник 18:10. Ссылка на zoom.
Полезные ссылки
- Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy
- Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024
- anytask для сдачи домашних заданий: https://anytask.org/course/1141.
Инвайты: * Первая группа: 4j9MpiI * Вторая группа: DH8HCdZ
Темы курса
1. Классификация текста. Записи: лекция, семинар
2. Генерация текста. Методы токенизации. Записи: лекция, семинар
3. Рекуррентные нейронные сети. Трансформер. Записи: лекция, семинар
4. Декодирование текста. BERT. GPT. Записи: лекция, семинар
5. Современные языковые модели. Записи: лекция, семинар
6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: лекция
Домашние задания
1. Text Suggestion: условие
2. Рекуррентные нейронные сети: условие
3. LLaMA: условие
Преподаватели и ассистенты
| Преподаватели | Ассистенты |
|---|---|
| Александр Шабалин | Андрей Ишутин |
| Алексей Биршерт | Николай Юдин |
| Алексей Панков | Анастасия Кеммер |
Контрольная работа
Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. Вопросы для подготовки.
Формула оценок
Определим накопленную оценку как Накоп = (0.4 * ДЗ + 0.3 * КР) / 0.7.
Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.
- ДЗ — средняя оценка за домашние задания
- КР — оценка за контрольную работу
- Э — оценка за экзамен
Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.
Формат экзамена: устный.
