Генеративные модели в машинном обучении (ИИ 2024) — различия между версиями
м (add exam info) |
Mhushchyn (обсуждение | вклад) |
||
| Строка 61: | Строка 61: | ||
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || [https://vk.com/video-227011779_456239098 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture07-tts.pdf Слайды], [[ Семинарский ноутбук]], [[ Запись семинара]] || [https://neerc.ifmo.ru/wiki/index.php?title=%D0%A1%D0%B8%D0%BD%D1%82%D0%B5%D0%B7_%D1%80%D0%B5%D1%87%D0%B8 Wiki ИТМО], [https://huggingface.co/learn/audio-course/ru/chapter6/pre-trained_models туториал HuggingFace], [https://developers.sber.ru/help/salutespeech/creating-audio-from-text верхнеуровневый обзор] технологий синтеза речи от Sber, [https://github.com/markovka17/dla/tree/2023 репозиторий курса DLA] | | style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || - || [https://vk.com/video-227011779_456239098 Запись лекции], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture07-tts.pdf Слайды], [[ Семинарский ноутбук]], [[ Запись семинара]] || [https://neerc.ifmo.ru/wiki/index.php?title=%D0%A1%D0%B8%D0%BD%D1%82%D0%B5%D0%B7_%D1%80%D0%B5%D1%87%D0%B8 Wiki ИТМО], [https://huggingface.co/learn/audio-course/ru/chapter6/pre-trained_models туториал HuggingFace], [https://developers.sber.ru/help/salutespeech/creating-audio-from-text верхнеуровневый обзор] технологий синтеза речи от Sber, [https://github.com/markovka17/dla/tree/2023 репозиторий курса DLA] | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || [[ Запись лекции]], [ | + | | style="background:#eaecf0;" | '''8''' || Оптимизация моделей || [https://stepik.org/lesson/1366014 Модуль 16 на Stepik] || [[ Запись лекции]], [https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/lectures/lecture08-opt.pdf Слайды], [[Семинарский ноутбук]], [[ Запись семинара]] || [https://education.yandex.ru/handbook/ml/article/distillyaciya-znanij Про дистилляцию знаний], [https://habr.com/ru/companies/yandex/articles/800945/ Про квантизацию] (Хабр), [https://pytorch.org/tutorials/intermediate/pruning_tutorial.html Про pruning] (pytorch) и [https://education.yandex.ru/handbook/ml/article/kak-ocenivat-veroyatnosti калибровку] |
|} | |} | ||
Версия 15:39, 23 октября 2024
Содержание
О курсе
Курс читается на первом модуле студентам магистерской образовательной программы "Искусственный интеллект".
Канал и чат курса в ТГ: Чат
| Группа | Преподаватели | Zoom | Время |
|---|---|---|---|
| Базовая | Ершов Глеб | Zoom | суббота 13:00 + вторник 17.09 18:10 |
| Продвинутая | Гущин Михаил | Zoom | четверг 18:10 + среда 25.09 18:10 |
| Ассистенты |
|---|
| Прохоров Савелий |
| Охотин Даниил |
| Никифорова Соня-Аня |
| Кураторы |
|---|
| Залесинский Роман |
| Зуев Гордей |
Материалы курса
Ссылка на плейлист курса на VK: VK-playlist
Ссылка на GitHub с материалами курса: GitHub
Ссылка на stepik: Stepik
Конусльтации
1. ДЗ-1 (Глеб Ершов): https://vk.com/video-227011779_456239083
Формула оценивания
Общая оценка: 0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik
Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.
Stepik
В оценку за Stepik идут только следующие модули:
Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
Домашние задания
Инвайт в Anytask: qR6fkx0
За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.
Задание 1. Трансформеры
В этой домашней работе вам предстоит добавить к BERT'у декодерную часть и решить задачу генерации суммаризаций для текстов новостей на русском языке.
Мягкий дедлайн: 01 октября 2024 года 23:59
Дедлайн: 05 октября 2024 года 23:59
Ссылка: https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/homeworks/homework_1.ipynb
Задание 2. Генерация параметров кластеров на изображениях для частиц: cWGAN, cVAE
Ваша задача заключается в том, чтобы с помощью генеративно-состязательных сетей научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)
Мягкий дедлайн: 09 октября (Ср.) 11 октября (Пт.) 2024 года, 23:59
Дедлайн: 13 октября (Вс.) 15 октября (Вт.) 2024 года, 23:59
Ссылка: https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw2
Задание 3. Генерация параметров кластеров на изображениях для частиц: диффузия, нормпотоки
Ваша задача заключается в том, чтобы с помощью диффузии и нормпотоков научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)
Мягкий дедлайн: 19 октября (Сб.) 2024 года, 23:59
Дедлайн: 22 октября (Вт.) 2024 года, 23:59
Ссылка: https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw3
Тесты
- "Attention, Transformers": ссылка, дедлайн -- 25.09 (Ср.), 23:59 МСК
- "Классические генеративные модели: GAN, (V)AE, Normalizing Flows, Diffusion": ссылка, дедлайн -- 07.10.24 (Пн.), 23:59
- "Мультимодальность, TTS, оптимизация инференса": ссылка, дедлайн -- 21.10.24 (Пн.), 23:59
Тренировочные тесты (неоцениваемые)
Экзамен
Вопросы к экзамену: Google Doc
Пробный вариант: ссылка на сообщение с pdf в чате курса
Пройдет 23.10 (Ср.) в 19:00
На написание 80 мин. (одна пара), 10 мин. на загрузку заданий в Энитаск
В Зуме нужно будет включить веб-камеру, выключить микрофон и запустить демонстрацию экрана.
За написанием будут следить преподаватели и ассистенты
От 4-х до 6-ти задач на разное количество баллов (в сумме -- 10)
Литература
Курсы по машинному обучению и анализу данных
- Курс NLP в ШАД
- Глубинное обучение, ВШЭ
- Глубинное обучение 1, МФТИ
- Глубинное обучение 2, МФТИ
- Курс по машинному обучению К.В. Воронцова
