Генеративные модели в машинном обучении (ИИ 2025)

О курсе

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Канал и чат курса в ТГ: Чат

Группа	Преподаватели	Zoom
Базовая	Тихонова Мария, Кантонистова Елена	[ Zoom]
Продвинутая	Карагодин Никита	[ Zoom]

Ассистенты
Прохоров Савелий
Охотин Даниил
Никифорова Соня-Аня

Материалы курса

Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Расписание базовой группы:

Занятие	Тема	Записи лекций и семинаров	Материалы на гитхабе	Дополнительные материалы
1	Задача машинного перевода, механизм внимания, Transformer	[Лекция] [Семинар]	[Лекция] [Семинар]
2	Токенизация, BERT, дообучение трансформерных моделей	[Лекция] [Семинар]	[Лекция] [Семинар]
3	Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение	[Лекция] [Семинар]	[Лекция] [Семинар]	Лекция ПЗАД по GAN и слайды; туториал по DCGAN от torch; оригинальная статья Яна Гудфеллоу; Wiki ИТМО; глава из учебника Яндекса
4	Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM	[Лекция] [Семинар]	[Лекция] [Семинар]	Лекция ПЗАД по NF и слайды; глава учебника Яндекса про VAE, обзор NVAE, реализация NVAE, реализация VAE на Habr; глава учебника Яндекса по NF, заметки о различных архитектурах NF, репозиторий с реализациями архитектур NF

Формула оценивания

Общая оценка: 0.6*ДЗ + 0.1*степик + 0.1*теормин + 0.2*Экз

Stepik

В оценку за Stepik идут только следующие модули:

• Модуль 10 Attention

• Модуль 11 Трансформеры: теория

• Модуль 12 Трансформеры: практика

• Модуль 14 Классические генеративные модели

• Модуль 15 Современные генеративные модели

• Модуль 16 Методы оптимизации нейронных сетей

Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).