Генеративные модели в машинном обучении (ИИ 2024) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 39: Строка 39:
 
|}
 
|}
  
−
==Материалы курса (ТУДУ)==
+
==Материалы курса ==
−
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzB9_Ftp0pLFIVsqBOr0XrUI YouTube-playlist]
+
Ссылка на плейлист курса на VK: [https://vk.com/video/playlist/-227011779_10 VK-playlist]
  
−
Ссылка на GitHub с материалами курса: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023 GitHub (ПМИ)]
+
Ссылка на GitHub с материалами курса: [GitHub] (ТУДУ)
  
−
Ссылка на GDrive c заполненными семинарскими ноутбуками: [https://drive.google.com/drive/u/0/folders/1UaPud4HbH97HREFo2yW6syX63JVMQ33Q GDrive]
+
Ссылка на GDrive c заполненными семинарскими ноутбуками: [GDrive] (ТУДУ)
  
−
Ссылка на stepik c : [https://stepik.org/course/179805/promo#toc stepik]
+
Ссылка на stepik: [https://stepik.org/course/179805/promo#toc stepik]
  
 
{| class="wikitable"
 
{| class="wikitable"
Строка 52: Строка 52:
 
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
 
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [https://www.youtube.com/watch?v=Dthv3qAb56E Запись (Middle)], [https://www.youtube.com/watch?v=PQMsF3WAot0 Запись (Advanced)] || [https://t.me/c/2035805700/6/243 Ноутбук Advanced], [https://t.me/c/2035805700/4/237 Ноутбук Middle] Полносвязные нейронные сети || 13.04.24 ||
+
| style="background:#eaecf0;" | '''1''' || Трансформеры || 09.09.2024 - 15.09.2024 || - || -
−
Лекции Е. Соколова с ИАДа: [https://youtu.be/-VH7bIoxYp8?t=160 1] и [https://www.youtube.com/watch?v=g552oCpg-NE 2] (до свёрток) или/и
+
−
 
+
−
[https://www.youtube.com/watch?v=DXZK3rpDp4U&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=1&t=1s Лекция] Ильдуса про полносвязные нейросети.
+
−
 
+
−
Почитать можно [https://academy.yandex.ru/handbook/ml/article/nejronnye-seti раздел 5] "Введение в глубинное обучение" в учебнике ШАДа
+
−
||  
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [https://www.youtube.com/watch?v=v4OowpHvoPo Запись (Middle)] || [https://t.me/c/2035805700/6/336 Ноутбук Advanced], [https://t.me/c/2035805700/4/334 Ноутбук Middle] Полносвязные нейронные сети (продолжение) || 20.04.24 || [https://www.youtube.com/watch?v=_RbndAAVMA4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=3 Лекция] "Оптимизации нейронных сетей" ||  
+
| style="background:#eaecf0;" | '''2''' || Архитектуры трансформеров || 16.09.2024 - 22.09.2024 || - || -
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [https://www.youtube.com/watch?v=3eV5djlSQMs&feature=youtu.be Запись (Advance)] , [https://www.youtube.com/watch?v=43oCfzqoEdQ&feature=youtu.be Запись (Middle)] || [https://t.me/c/2035805700/10/403 Ноутбук Advance] Свёрточные нейронные сети || 26.04.23 ||
+
| style="background:#eaecf0;" | '''3''' || Генеративно-состязательные сети (GANs) || 23.09.2024 - 29.09.2024 || - || -
−
 
+
−
Лекции Е. Соколова: [https://youtu.be/2fPB3Je7E98 1] (с 54:30) и [https://youtu.be/F53pfjKK0gc 2] или/и
+
−
 
+
−
[https://www.youtube.com/watch?v=C__S5v9iObQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=4 Лекция Ильдуса]
+
−
||
+
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [Запись] || [Ноутбук] Свёрточные нейронные сети (продолжение) || 10.05.23 || [https://www.youtube.com/watch?v=NYKiAqT8xXY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=5 Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару
+
| style="background:#eaecf0;" | '''4''' || Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) || 30.09.2024 - 06.10.2024 || - || -
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [Запись] || [Ноутбук] Сегментация и детекция || 19.05.23 || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://www.youtube.com/watch?v=GGFSKLPKeL4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=6 Лекция Ильдуса] ||  
+
| style="background:#eaecf0;" | '''5''' || Диффузионные модели || 07.10.2024 - 13.10.2024 || - || -
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [Запись] || [Ноутбук] Нейросетевые векторные представления слов || 26.05.23 || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://www.youtube.com/watch?v=pLFnqfvM7No&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=7 Лекция Ильдуса]||  
+
| style="background:#eaecf0;" | '''6''' || Мультимодальные модели || 14.10.2024 - 20.10.2024 || - || -
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [Запись] || [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || 31.05.23 || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://www.youtube.com/watch?v=sXWwrz4v2OQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=8 Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара
+
| style="background:#eaecf0;" | '''7''' || Синтез речи (Text-to-Speech) || 21.10.2024 - 27.10.2024 || - || -  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' [Запись] || [Ноутбук] Дистилляция, квантизация, прунинг || 07.06.23 || [https://www.youtube.com/watch?v=rW6hQloci7M&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=12 Лекция (Ильдус)] ||  
+
| style="background:#eaecf0;" | '''8''' || Оптимизация моделей || 28.10.2024 - 03.11.2024 || - || -
 
|}
 
|}
  

Версия 18:03, 30 августа 2024

О курсе (ТУДУ)

Занятия проходят по субботам.

У базовой группы с 11:10 по 12:30 по ссылке [ Zoom].

У продвинутой группы с 13:00 по 14:20 по ссылке [ Zoom].

Контакты

Канал и чат курса в TG: channel link

Преподаватели Контакты
Ершов Глеб @GLBHLB
Гущин Михаил @mikhail_h91
Ассистенты Контакты
Прохоров Савелий @Savely_Prokhorov
Охотин Даниил @danokil
Никифорова Соня-Аня @sonya_leaf
Кураторы Контакты
Залесинский Роман @roman_zalesinskii
Зуев Гордей @WhiteShape

Материалы курса

Ссылка на плейлист курса на VK: VK-playlist

Ссылка на GitHub с материалами курса: [GitHub] (ТУДУ)

Ссылка на GDrive c заполненными семинарскими ноутбуками: [GDrive] (ТУДУ)

Ссылка на stepik: stepik

Занятие Тема Дата Материалы для самоподготовки к семинарам Дополнительные материалы
1 Трансформеры 09.09.2024 - 15.09.2024 - -
2 Архитектуры трансформеров 16.09.2024 - 22.09.2024 - -
3 Генеративно-состязательные сети (GANs) 23.09.2024 - 29.09.2024 - -
4 Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) 30.09.2024 - 06.10.2024 - -
5 Диффузионные модели 07.10.2024 - 13.10.2024 - -
6 Мультимодальные модели 14.10.2024 - 20.10.2024 - -
7 Синтез речи (Text-to-Speech) 21.10.2024 - 27.10.2024 - -
8 Оптимизация моделей 28.10.2024 - 03.11.2024 - -

Формула оценивания

Общая оценка: min(0.45*ДЗ + 0.2*СР + 0.35*Экз. + 0.05*Самооценка, 10)

Оценка за экзамен: 0.225 * Письм. + 0.125 * Уст.

Самооценка: 0.005 * 10 (проверить)

Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75 (проверить)

Домашние задания (ТУДУ)

Инвайт в Anytask: UZppWJ0

  1. Полносвязные нейронные сети
    Часть 1 "Автоматическое дифференцирование" (5 бонусных баллов)| [Материалы]
    Часть 2 "Полносвязные нейронные сети" (основная, 10 баллов) | [Ноутбук]
    Дедлайн: 08.05.2024
  2. Свёрточные нейронные сети | [Ноутбук] | Дедлайн: 26.05.2024
  3. Рекуррентные нейронные сети | Языковые модели (RNN, LSTM) | Дедлайн: 09.06.2024

Тесты и неоцениваемые теоретические ДЗ (ТУДУ)

...

Экзамен (ТУДУ)

...

Литература (ТУДУ)

  • Гудфеллоу Я. − Глубокое обучение
  • Christopher M. Bishop - Pattern Recognition and Machine Learning
  • Стивенс Э. - PyTorch. Освещая глубокое обучение
Источник — «http://wiki.cs.hse.ru/index.php?title=Генеративные_модели_в_машинном_обучении_(ИИ_2024)&oldid=85536»