МОВС Глубинное обучение (ММОВС22, 4-5 модули) — различия между версиями
(vid) |
(wip) |
||
Строка 55: | Строка 55: | ||
|| | || | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=v4OowpHvoPo Запись (Middle)]] || [[https://t.me/c/2035805700/6/336 Ноутбук]] Полносвязные нейронные сети (продолжение) || 20.04. | + | | style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=v4OowpHvoPo Запись (Middle)]] || [[https://t.me/c/2035805700/6/336 Ноутбук]] Полносвязные нейронные сети (продолжение) || 20.04.24 || [https://www.youtube.com/watch?v=_RbndAAVMA4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=3 Лекция] "Оптимизации нейронных сетей" || |
|- | |- | ||
| style="background:#eaecf0;" | '''3''' [Запись] || [Ноутбук] Свёрточные нейронные сети || 26.04.23 || | | style="background:#eaecf0;" | '''3''' [Запись] || [Ноутбук] Свёрточные нейронные сети || 26.04.23 || | ||
Строка 64: | Строка 64: | ||
|| | || | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''4''' [Запись] || [ | + | | style="background:#eaecf0;" | '''4''' [Запись] || [Ноутбук] Свёрточные нейронные сети (продолжение) || 10.05.23 || [https://www.youtube.com/watch?v=NYKiAqT8xXY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=5 Лекция Ильдуса], Лекции Е. Соколова: [[https://youtu.be/xQRJpFF_NRw 1]] (с 46:00) и [[https://youtu.be/nsqEJwugQfo 2]] (до 53:30) || [https://drive.google.com/file/d/18DGIsTt14k6Lxhs8myTBfvcGJZfyB81e/view?usp=drive_link Данные] к семинару |
|- | |- | ||
− | | style="background:#eaecf0;" | '''5''' [Запись] || | + | | style="background:#eaecf0;" | '''5''' [Запись] || [Ноутбук] Сегментация и детекция || 19.05.23 || Лекции Соколова [[https://youtu.be/nsqEJwugQfo 1]] (с 53:50) и [[https://youtu.be/WAusZZxx1bE 2]], [https://www.youtube.com/watch?v=GGFSKLPKeL4&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=6 Лекция Ильдуса] || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''6''' [Запись] || [ | + | | style="background:#eaecf0;" | '''6''' [Запись] || [Ноутбук] Нейросетевые векторные представления слов || 26.05.23 || [https://youtu.be/GyI5X82NEn8 Лекция c ИАДа] (читает Антон Семенкин), [https://www.youtube.com/watch?v=pLFnqfvM7No&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=7 Лекция Ильдуса]|| |
|- | |- | ||
− | | style="background:#eaecf0;" | '''7''' [Запись] || [ | + | | style="background:#eaecf0;" | '''7''' [Запись] || [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder || 31.05.23 || [https://youtu.be/It4-Hg9QNhw Лекция Е. Соколова], [https://www.youtube.com/watch?v=sXWwrz4v2OQ&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=8 Лекция Ильдуса] || [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/seminars/elvish-names.pickle Данные] к первой части семинара |
|- | |- | ||
− | | style="background:#eaecf0;" | '''8''' [Запись] || [ | + | | style="background:#eaecf0;" | '''8''' [Запись] || [Ноутбук] Дистилляция, квантизация, прунинг || 07.06.23 || [https://www.youtube.com/watch?v=rW6hQloci7M&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=12 Лекция (Ильдус)] || |
|- | |- | ||
| Конец первой части курса | | | Конец первой части курса | | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''9''' [Запись] || [ | + | | style="background:#eaecf0;" | '''9''' [Запись] || [Ноутбук] Трансформеры 1 || 06.09.23 || [https://www.youtube.com/watch?v=wLUJVRqzEyM Лекция (Алексей Биршерт)], [https://www.youtube.com/watch?v=x5bIzeIPdvI&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=9 Лекция Ильдуса] || Статьи [http://jalammar.github.io/illustrated-transformer/ "The Illustrated Transformer"] и [https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)], Jay Alammar |
|- | |- | ||
− | | style="background:#eaecf0;" | '''10''' [Запись] || [ | + | | style="background:#eaecf0;" | '''10''' [Запись] || [Ноутбук] Трансформеры 2 (BERT) || 13.09.23 || [https://www.youtube.com/watch?v=XEZBwLRPDBY&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=10 Лекция Ильдуса] || [https://colab.research.google.com/github/phlippe/uvadlc_notebooks/blob/master/docs/tutorial_notebooks/tutorial17/SimCLR.ipynb Ноутбук про SimCLR] для интересующихся |
|- | |- | ||
− | | style="background:#eaecf0;" | '''11''' [Запись] || [ | + | | style="background:#eaecf0;" | '''11''' [Запись] || [Ноутбук], [https://t.me/c/1924418355/68 PDF-ка]] Генеративно-состязательные сети (GANs) || 20.09.23 || [https://www.youtube.com/watch?v=EbuW6AFAfho&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=13 Лекция Ильдуса] || [https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html Туториал от торча] по GAN'ам для картинок |
|- | |- | ||
− | | style="background:#eaecf0;" | '''12''' [Запись] || [ | + | | style="background:#eaecf0;" | '''12''' [Запись] || [Ноутбук] (Вариационные) автокодировщики [(V)AEs] || 27.09.23 || [https://www.youtube.com/watch?v=KiwaAQBYbCI&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=14 Лекция Ильдуса] || [https://distill.pub/2016/deconv-checkerboard/ Блог-пост про свёртки] |
|- | |- | ||
− | | style="background:#eaecf0;" | '''13''' [Запись] || [ | + | | style="background:#eaecf0;" | '''13''' [Запись] || [Ноутбук] Нормализационные потоки (NFs), ''Гущин Михаил'' || 04.10.23 || [https://youtu.be/aj1U36E_RZE Лекция] || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''14''' [Запись] || [ | + | | style="background:#eaecf0;" | '''14''' [Запись] || [Ноутбук] Диффузионные модели (Diffusion), ''Гущин Михаил'' || 11.10.23 || [https://youtu.be/z7QH-WWHmfE Лекция], [https://www.youtube.com/watch?v=H0fczcpFbpg&list=PLEwK9wdS5g0q1A2aQI83jeaRPwhBZhprY&index=15 Лекция Ильдуса] || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''15''' [Запись] || [ | + | | style="background:#eaecf0;" | '''15''' [Запись] || [Ноутбук] Style Transfer, Deep Fakes & Supurresolution Tasks, ''Гущин Михаил'' || 18.10.23 || [https://www.youtube.com/watch?v=GRJ84i2z_7A Лекция] || |
|- | |- | ||
|} | |} |
Версия 23:35, 20 апреля 2024
Содержание
О курсе
Занятия проходят по субботам.
У базовой группы с 11:10 по 12:30 по ссылке Zoom.
У продвинутой группы с 13:00 по 14:20 по ссылке Zoom.
Контакты
Канал и чат курса в TG: channel link
Преподаватели: Садртдинов Ильдус Рустемович, Гущин Михаил Иванович
Ассистенты | Контакты |
---|---|
Акимов Тимур | @takimov |
Казюлина Марина | @poemgranate |
Никифоров Михаил | @caesiummm |
Жирков Фёдор | @ko4osik |
Лазарева Анна | @annalzrv |
Кураторы | Контакты |
---|---|
Залесинский Роман | @roman_zalesinskii |
Герасимова Мария | @mariya_math |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub (ПМИ)
Ссылка на GDrive c заполненными семинарскими ноутбуками: GDrive
Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
---|---|---|---|---|
1 [Запись (Middle)] | [Ноутбук] Полносвязные нейронные сети | 13.04.24 |
Лекции Е. Соколова с ИАДа: 1 и 2 (до свёрток) или/и Лекция Ильдуса про полносвязные нейросети. Почитать можно раздел 5 "Введение в глубинное обучение" в учебнике ШАДа |
|
2 [Запись (Middle)] | [Ноутбук] Полносвязные нейронные сети (продолжение) | 20.04.24 | Лекция "Оптимизации нейронных сетей" | |
3 [Запись] | [Ноутбук] Свёрточные нейронные сети | 26.04.23 | ||
4 [Запись] | [Ноутбук] Свёрточные нейронные сети (продолжение) | 10.05.23 | Лекция Ильдуса, Лекции Е. Соколова: [1] (с 46:00) и [2] (до 53:30) | Данные к семинару |
5 [Запись] | [Ноутбук] Сегментация и детекция | 19.05.23 | Лекции Соколова [1] (с 53:50) и [2], Лекция Ильдуса | |
6 [Запись] | [Ноутбук] Нейросетевые векторные представления слов | 26.05.23 | Лекция c ИАДа (читает Антон Семенкин), Лекция Ильдуса | |
7 [Запись] | [Ноутбук] Рекуррентные нейронные сети, LSTM, архитектура Decoder-Encoder | 31.05.23 | Лекция Е. Соколова, Лекция Ильдуса | Данные к первой части семинара |
8 [Запись] | [Ноутбук] Дистилляция, квантизация, прунинг | 07.06.23 | Лекция (Ильдус) | |
9 [Запись] | [Ноутбук] Трансформеры 1 | 06.09.23 | Лекция (Алексей Биршерт), Лекция Ильдуса | Статьи "The Illustrated Transformer" и Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention), Jay Alammar |
10 [Запись] | [Ноутбук] Трансформеры 2 (BERT) | 13.09.23 | Лекция Ильдуса | Ноутбук про SimCLR для интересующихся |
11 [Запись] | [Ноутбук], PDF-ка] Генеративно-состязательные сети (GANs) | 20.09.23 | Лекция Ильдуса | Туториал от торча по GAN'ам для картинок |
12 [Запись] | [Ноутбук] (Вариационные) автокодировщики [(V)AEs] | 27.09.23 | Лекция Ильдуса | Блог-пост про свёртки |
13 [Запись] | [Ноутбук] Нормализационные потоки (NFs), Гущин Михаил | 04.10.23 | Лекция | |
14 [Запись] | [Ноутбук] Диффузионные модели (Diffusion), Гущин Михаил | 11.10.23 | Лекция, Лекция Ильдуса | |
15 [Запись] | [Ноутбук] Style Transfer, Deep Fakes & Supurresolution Tasks, Гущин Михаил | 18.10.23 | Лекция |
Формула оценивания
Оценка 0.15*Тесты + 0.25*Письменный коллоквиум + 0.6*ДЗ
Условие автомата: накоп >= 7.5, где накоп = (0.15*степик + 0.6*ДЗ) / 0.75
Домашние задания
Инвайт в Anytask: UZppWJ0
- Домашнее задание 1 - Дедлайн: 08.05.2024
- Домашнее задание 2 - Дедлайн: 26.05.2024
- Домашнее задание 3 - Дедлайн: 09.06.2024
Тесты и неоцениваемые теоретические ДЗ
Возможны изменения в числе тестов в большую сторону
- "Полносвязные нейронные сети. Введение в pytorch", выдан 27.04.23, дедлайн -
30.04.23 (Вс)02.05.23 (Вт) 20:59 GMT+3 - "Сверточные нейронные сети", выдан 26.06.23, дедлайн - 29.05.23(Пн) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
- Векторные представления текстов. RNN, LSTM, выдан 09.06.23, дедлайн - 13.06.23 (Вт) 23:59 GMT+3, досдать можно со штрафом в 2 балла до 20.06
- Трансформеры и BERT, дедлайн: 30.09.23 (Сб), 23:59 (МСК)
- GANs + VAEs, дедлайн: 10.10.23 (Вт), 23:59 (МСК)
- Normalizing Flows + Diffusion
Возможно будет ещё 1-2 квиза на прочие топики.
- Теоретическое ДЗ-1 "Полносвязные НС" (не оценивается)
За решение теоретических ДЗ возможно будут предусмотрены бонусы
Коллоквиум
Коллоквиум состоится не ранее 14.06 и вероятно будет представлять собой 4-5 задач с письменным ответом на понимание теории Глубинного обучения.
О дополнениях и уточнениях сообщим позже.
Экзамен
Экзамен будет устный, пройдет в сессию 5-го модуля. Будет состоять из вопросов по трансформерам и генеративным моделям, а также материалам первой части курса.
С прочими уточнениями вернемся позднее
Литература
- Гудфеллоу Я. − Глубокое обучение
- Christopher M. Bishop - Pattern Recognition and Machine Learning
- Стивенс Э. - PyTorch. Освещая глубокое обучение