Глубинное обучение для текстовых данных 24/25 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(не показаны 2 промежуточные версии этого же участника)
Строка 38: Строка 38:
  
 
6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]
 
6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]
 +
 +
7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]
  
 
== Домашние задания ==
 
== Домашние задания ==
Строка 47: Строка 49:
 
3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]
 
3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]
  
 +
4. Уменьшение размеров модели: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week7_size_reduction/homework/hw4.ipynb условие]
  
 
== Преподаватели и ассистенты ==
 
== Преподаватели и ассистенты ==
Строка 61: Строка 64:
 
|-
 
|-
 
|}
 
|}
−
 
  
 
== Контрольная работа ==
 
== Контрольная работа ==

Версия 19:24, 14 ноября 2024

О курсе

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели. Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

Расписание

Лекция: Вторник 16:20. Ссылка на zoom.

Семинары:

  • Группа 1 (Биршерт): Четверг 18:10. Ссылка на zoom.
  • Группа 2 (Панков): Вторник 18:10. Ссылка на zoom.

Полезные ссылки

  Инвайты:
  * Первая группа: 4j9MpiI
  * Вторая группа: DH8HCdZ

Темы курса

1. Классификация текста. Записи: лекция, семинар

2. Генерация текста. Методы токенизации. Записи: лекция, семинар

3. Рекуррентные нейронные сети. Трансформер. Записи: лекция, семинар

4. Декодирование текста. BERT. GPT. Записи: лекция, семинар

5. Современные языковые модели. Записи: лекция, семинар

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: лекция

7. Уменьшение размера моделей. Записи: лекция, семинар

Домашние задания

1. Text Suggestion: условие

2. Рекуррентные нейронные сети: условие

3. LLaMA: условие

4. Уменьшение размеров модели: условие

Преподаватели и ассистенты

Преподаватели Ассистенты
Александр Шабалин Андрей Ишутин
Алексей Биршерт Николай Юдин
Алексей Панков Анастасия Кеммер

Контрольная работа

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. Вопросы для подготовки.

Формула оценок

Определим накопленную оценку как Накоп = (0.4 * ДЗ + 0.3 * КР) / 0.7.

Итог = Округление(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

  • ДЗ — средняя оценка за домашние задания
  • КР — оценка за контрольную работу
  • Э — оценка за экзамен

Если Накоп >= 8, то студент может получить Округление(Накоп) в качестве итоговой оценки, не приходя на экзамен.

Формат экзамена: устный.

Источник — «http://wiki.cs.hse.ru/index.php?title=Глубинное_обучение_для_текстовых_данных_24/25&oldid=88026»