МОВС Трансформеры (ММОВС23, 5 модуль) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 1: Строка 1:
−
О курсе
+
==О курсе==
−
Разберём основные вехи развития трансформеров и механизмы их функционирования, рассмотрим разные концепции задач, решаемых с помощью трансформерных моделей, отдельно остановимся на предлагаемых в разное время модификациях «ванильной» архитектуры, сфокусируемся на decoder-only вариации вообще и современных LLM в частности.
+
  
−
Программа:
+
Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1 модуле 2024/2025 учебного года.
−
1. The Transformer — «ванильная» архитектура, механизм внимания (attention), мотивация и импликации.
+
−
2. Решение Sequence-to-sequence (seq2seq) задач с помощью трансформеров: машинный перевод, QA, диалоговые модели.
+
Время занятий: TBD
−
  ДЗ
+
−
3. Энкодеры — Masked Language Modeling, BERT и его наиболее удачные модификации. решение NLU-задач с помощью трансформеров.
+
−
4. Декодеры — causal language modeling, авторегрессионная генерация, GPT-архитектура.
+
−
  ДЗ сдача
+
−
5. Pretraining — разбор этапа с точки зрения данных, функций потерь, валидации для трёх типов трансформеров (энкодеры, энкодер-декодеры, декодеры).
+
−
  Проект
+
−
6. Post-Training: SFT, RLHF, DPO — разбор этапа, бенчмарки и оценивание моделей.
+
−
7. Cutting-edge transformers research: модификации attention, эффективность обучения etc., разбор статей.
+
−
8. Защита проектов, обсуждение
+
  
−
Формула оценивания
+
==Контакты==
−
Total_score = 0.3*домашка + 0.7*проект
+
 
−
Домашние задания
+
Чат курса в TG: TBD
−
«Лабораторный мини-проект» на модификацию стандартного пайплайна обучения causal decoder — внедряем (как вариант) PrefixLM в стандартный код huggingface, настраиваем валидацию, делаем выводы.  
+
 
−
Проект — делимся на мини-группы, берём одну из задач/предлагаем свою заранее (список задач будет дан позднее), строим:
+
Преподаватель: Валерий Терновский
−
базовый пайплайн решения на open-source моделях
+
 
−
пайплайн SFT/RLHF на открытых данных
+
{| class="wikitable"
−
формулируем исследовательские гипотезы, готовим кодовую базу для их запуска и проверки (обучать или нет будет зависеть от гипотез).
+
|-
−
Цель проекта — получить представление о работе R&D-команды в условиях, приближенных к реальным, разобраться в нюансах построения исследовательских пайплайнов в ML-проектах, научиться формировать roadmap проекта и демонстрировать промежуточные результаты.
+
! Ассистент !! Telegram
 +
|-
 +
| style="background:#eaecf0;" | Карагодин Никита || [https://t.me/Einstein_30 @Einstein_30]
 +
|-
 +
| style="background:#eaecf0;" | Александр Вишняков || [https://t.me/BedTed @BedTed]
 +
|-
 +
| style="background:#eaecf0;" | Максим Думенков || [https://t.me/maxodum @maxodum]
 +
|-
 +
| style="background:#eaecf0;" | Михаил Дуженко || [https://t.me/gogoggogog @gogoggogog]
 +
|-
 +
| style="background:#eaecf0;" | Александра Ковалева || [https://t.me/ak0va @ak0va]
 +
|-
 +
| style="background:#eaecf0;" |  Марат Мельгизин || [https://t.me/v_oxel @v_oxel]
 +
|-
 +
| style="background:#eaecf0;" | Стас Ивашков || [https://t.me/ps1va @ps1va]
 +
|}
 +
 
 +
==Материалы курса (базовая группа)==
 +
Ссылка на плейлист курса на YouTube: TBD
 +
 
 +
Ссылка на GitHub с материалами курса: TBD
 +
 
 +
 
 +
 
 +
{| class="wikitable"
 +
|-
 +
! Занятие !! Тема !! Дата !! Ссылки
 +
|-
 +
| style="background:#eaecf0;" | '''1'''  ||  ...
 +
|| ?.09.24 ||
 +
|-
 +
| style="background:#eaecf0;" | '''2'''  ||  ...
 +
|| ?.09.24 ||
 +
|-
 +
|}
 +
 
 +
==Материалы курса ==
 +
Ссылка на плейлист курса на YouTube: TBD
 +
 
 +
Ссылка на GitHub с материалами курса: TBD
 +
 
 +
 
 +
{| class="wikitable"
 +
|-
 +
! Занятие !! Тема !! Дата !! Ссылки
 +
|-
 +
| style="background:#eaecf0;" | '''1'''  ||  ...
 +
|| ?.09.24 ||
 +
|-
 +
| style="background:#eaecf0;" | '''2'''  ||  ...
 +
|| ?.09.24 ||
 +
|-
 +
|}
 +
 
 +
=== Записи консультаций ===
 +
 
 +
==Формула оценивания==
 +
 
 +
Оценка = 0.3*О<sub>ДЗ1</sub> +0.3*О<sub>ДЗ2</sub> + 0.3*О<sub>ДЗ3</sub>  +0.1*О<sub>ДЗ4</sub>
 +
 
 +
== Распределительный тест ==
 +
 
 +
 
 +
== Домашние задания ==
 +
 
 +
 
 +
== Литература ==

Версия 16:39, 30 августа 2024

О курсе

Курс читается для студентов 1 курса магистратуры "Искусственный интеллект" в 1 модуле 2024/2025 учебного года.

Время занятий: TBD

Контакты

Чат курса в TG: TBD

Преподаватель: Валерий Терновский

Ассистент Telegram
Карагодин Никита @Einstein_30
Александр Вишняков @BedTed
Максим Думенков @maxodum
Михаил Дуженко @gogoggogog
Александра Ковалева @ak0va
Марат Мельгизин @v_oxel
Стас Ивашков @ps1va

Материалы курса (базовая группа)

Ссылка на плейлист курса на YouTube: TBD

Ссылка на GitHub с материалами курса: TBD


Занятие Тема Дата Ссылки
1 ...  ?.09.24
2 ...  ?.09.24

Материалы курса

Ссылка на плейлист курса на YouTube: TBD

Ссылка на GitHub с материалами курса: TBD


Занятие Тема Дата Ссылки
1 ...  ?.09.24
2 ...  ?.09.24

Записи консультаций

Формула оценивания

Оценка = 0.3*ОДЗ1 +0.3*ОДЗ2 + 0.3*ОДЗ3 +0.1*ОДЗ4

Распределительный тест

Домашние задания

Литература

Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Трансформеры_(ММОВС23,_5_модуль)&oldid=85508»