Генеративные модели в машинном обучении (ИИ 2025) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 45: Строка 45:
 
|-
 
|-
  
−
| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]|| [https://www.youtube.com/watch?v=XvnC9B_hNt0 Лекция ПЗАД по GAN] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture01-gan.pdf слайды]; [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html туториал по DCGAN] от torch; [https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf оригинальная статья Яна Гудфеллоу]; [https://neerc.ifmo.ru/wiki/index.php?title=Generative_Adversarial_Nets_(GAN) Wiki ИТМО]; [https://education.yandex.ru/handbook/ml/article/generativno-sostyazatelnye-seti-(gan) глава из учебника Яндекса]
+
| style="background:#eaecf0;" | '''3''' || Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение || [Лекция] [Семинар] || [Лекция] [Семинар]||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] || [https://www.youtube.com/watch?v=aj1U36E_RZE&list=PLEwK9wdS5g0rLIiFuHwUuDuWKupHQrVJf&index=3 Лекция ПЗАД по NF] и [https://github.com/hse-ds/iad-applied-ds/blob/master/2023/lectures/lecture02-nf.pdf слайды]; [https://education.yandex.ru/handbook/ml/article/variational-autoencoder-(vae) глава учебника Яндекса про VAE], [https://www.youtube.com/watch?v=x6T1zMSE4Ts обзор] NVAE, [https://github.com/NVlabs/NVAE реализация] NVAE, [https://github.com/NVlabs/NVAE реализация] VAE на Habr; [https://education.yandex.ru/handbook/ml/article/normalizuyushie-potoki глава учебника Яндекса по NF], [https://lilianweng.github.io/posts/2018-10-13-flow-models/ заметки] о различных архитектурах NF, [https://github.com/VincentStimper/normalizing-flows репозиторий] с реализациями архитектур NF
+
| style="background:#eaecf0;" | '''4''' || Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM|| [Лекция] [Семинар] || [Лекция] [Семинар] ||
 
|}
 
|}
  

Версия 22:20, 27 августа 2025

О курсе

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Канал и чат курса в ТГ: Чат

Группа Преподаватели Zoom
Базовая Тихонова Мария, Кантонистова Елена [ Zoom]
Продвинутая Карагодин Никита [ Zoom]
Ассистенты
Прохоров Савелий
Охотин Даниил
Никифорова Соня-Аня

Материалы курса

Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Расписание базовой группы:

Занятие Тема Записи лекций и семинаров Материалы на гитхабе Дополнительные материалы
1 Задача машинного перевода, механизм внимания, Transformer [Лекция] [Семинар] [Лекция] [Семинар]
2 Токенизация, BERT, дообучение трансформерных моделей [Лекция] [Семинар] [Лекция] [Семинар]
3 Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение [Лекция] [Семинар] [Лекция] [Семинар]
4 Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM [Лекция] [Семинар] [Лекция] [Семинар]

Формула оценивания

Общая оценка: 0.6*ДЗ + 0.1*степик + 0.1*теормин + 0.2*Экз

Stepik

В оценку за Stepik идут только следующие модули:

Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).


Домашние задания

Экзамен

Источник — «http://wiki.cs.hse.ru/index.php?title=Генеративные_модели_в_машинном_обучении_(ИИ_2025)&oldid=91377»