Генеративные модели в машинном обучении (ИИ 2025) — различия между версиями

Версия 22:27, 27 августа 2025

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Канал и чат курса в ТГ: Чат

Группа	Преподаватели	Zoom
Базовая	Тихонова Мария, Кантонистова Елена	[ Zoom]
Продвинутая	Тихонова Мария, Карагодин Никита	[ Zoom]

Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Занятие	Тема	Записи лекций и семинаров	Материалы на гитхабе
1	Задача машинного перевода, механизм внимания, Transformer	[Лекция] [Семинар]	[Лекция] [Семинар]
2	Токенизация, BERT, дообучение трансформерных моделей	[Лекция] [Семинар]	[Лекция] [Семинар]
3	Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение	[Лекция] [Семинар]	[Лекция] [Семинар]
4	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]

Занятие	Тема	Записи лекций и семинаров	Материалы на гитхабе
1	Применения генеративных моделей, метод максимального правдоподобия, энтропия и KL-дивергенция, задачи генеративных моделей, AR модели	[Лекция] [Семинар]	[Лекция] [Семинар]
2	Задача машинного перевода, механизм внимания, Transformer	[Лекция] [Семинар]	[Лекция] [Семинар]
3	Токенизация, BERT, дообучение трансформерных моделей	[Лекция] [Семинар]	[Лекция] [Семинар]
4	Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение	[Лекция] [Семинар]	[Лекция] [Семинар]
5	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]
6	Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow	[Лекция] [Семинар]	[Лекция] [Семинар]
7	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]

Общая оценка: 0.6*ДЗ + 0.1*степик + 0.1*теормин + 0.2*Экз

В оценку за Stepik идут только следующие модули:

Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).

@@ Строка 70: / Строка 70: @@
 |-
 | style="background:#eaecf0;" | '''5''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
+|-
+| style="background:#eaecf0;" | '''6''' || Нормализующие потоки, авторегрессионные и линейные потоки, модели NICE, RealNVP и Glow|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
+|-
+| style="background:#eaecf0;" | '''7''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
 |}