Генеративные модели в машинном обучении (ИИ 2025) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 39: Строка 39:
 
|-
 
|-
  
−
| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] || [https://www.youtube.com/watch?v=KCEEfH1RQuA Запись лекции про Attention и трансформеры на ИАДе], [https://github.com/hse-ds/iad-deep-learning/blob/master/2022/lectures/lecture11-sequences.pdf Слайды к ней]; [https://arxiv.org/abs/1706.03762 Attention is All You Need]; [https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer]; [https://youtu.be/eMlx5fFNoYc Visualizing Attention, a Transformer's Heart];
+
| style="background:#eaecf0;" | '''1''' || Задача машинного перевода, механизм внимания, Transformer || [Лекция] [Семинар]|| [Лекция] [Семинар] ||  
 
|-
 
|-
  
−
| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/seminars/Seminar-2.ipynb Тетрадка], [https://colab.research.google.com/drive/1QoNg4aUmyEVkzoIWF6pFg3nJk9liIiGi?usp=sharing#scrollTo=JJbWPWj94LOP Colab], [https://vk.com/video-227011779_456239041 Запись продвинутая] || [https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html Кратко про BERT, GPT и T5 модели]; [https://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co.];
+
| style="background:#eaecf0;" | '''2''' || Токенизация, BERT, дообучение трансформерных моделей || [Лекция] [Семинар] || [Лекция] [Семинар] ||  
 
|-
 
|-
  

Версия 22:19, 27 августа 2025

О курсе

Курс читается в первом семестре студентам магистерской образовательной программы "Искусственный интеллект".

Канал и чат курса в ТГ: Чат

Группа Преподаватели Zoom
Базовая Тихонова Мария, Кантонистова Елена [ Zoom]
Продвинутая Карагодин Никита [ Zoom]
Ассистенты
Прохоров Савелий
Охотин Даниил
Никифорова Соня-Аня

Материалы курса

Ссылка на плейлист курса на VK: [ VK-playlist]

Ссылка на GitHub с материалами курса: GitHub

Ссылка на stepik: Stepik

Расписание базовой группы:

Занятие Тема Записи лекций и семинаров Материалы на гитхабе Дополнительные материалы
1 Задача машинного перевода, механизм внимания, Transformer [Лекция] [Семинар] [Лекция] [Семинар]
2 Токенизация, BERT, дообучение трансформерных моделей [Лекция] [Семинар] [Лекция] [Семинар]
3 Задача языкового моделирования, GPT, few-shot и zero-shot, инструктивное обучение [Лекция] [Семинар] [Лекция] [Семинар] Лекция ПЗАД по GAN и слайды; туториал по DCGAN от torch; оригинальная статья Яна Гудфеллоу; Wiki ИТМО; глава из учебника Яндекса
4 Технологии современных LLM (Rope, KV-cache), Reasoning, RAG, Open-source LLM [Лекция] [Семинар] [Лекция] [Семинар] Лекция ПЗАД по NF и слайды; глава учебника Яндекса про VAE, обзор NVAE, реализация NVAE, реализация VAE на Habr; глава учебника Яндекса по NF, заметки о различных архитектурах NF, репозиторий с реализациями архитектур NF

Формула оценивания

Общая оценка: 0.6*ДЗ + 0.1*степик + 0.1*теормин + 0.2*Экз

Stepik

В оценку за Stepik идут только следующие модули:

Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).


Домашние задания

Экзамен

Источник — «http://wiki.cs.hse.ru/index.php?title=Генеративные_модели_в_машинном_обучении_(ИИ_2025)&oldid=91376»