Глубинное обучение 1 22/23 — различия между версиями
(→МОП) |
(→МОП) |
||
(не показано 30 промежуточных версии этого же участника) | |||
Строка 31: | Строка 31: | ||
! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask | ! Группа !! Семинарист !! Ассистенты !! Инвайт в anytask | ||
|- | |- | ||
− | | 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || | + | | 201 || [https://t.me/baranovskayadaria Дарья Барановская] || [https://t.me/JohanDDC Иван Пешехонов], [https://t.me/nikoryagin Никита Корягин] || gMVmQgY |
|- | |- | ||
− | | 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || | + | | 202 || [https://t.me/isadrtdinov Ильдус Садртдинов] || [https://t.me/territhing Сергей Пилипенко], [https://t.me/huwar Мадина Халматова] || oDu4b6c |
|- | |- | ||
− | | 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || | + | | 203 || [https://t.me/Birshert Алексей Биршерт] || [https://t.me/maripkl Мария Поклонская], [https://t.me/DimaLishudi Дмитрий Лишуди] || eqbgrKV |
|- | |- | ||
− | | 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || | + | | 204 || [https://t.me/madn_boi Никита Морозов] || [https://t.me/SergejVolkov Фома Шипилов] || STMB5yV |
|- | |- | ||
− | | 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || | + | | 207 || [https://t.me/asukhareva Анжела Сухарева] || [https://t.me/zzlatazz Злата Клименко] || I6JUg1f |
|- | |- | ||
− | | 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || | + | | 208 || [https://t.me/aktsvigun Аким Цвигун] || [https://t.me/lily_kurchenko Лилия Курченко] || WSekHxn |
|- | |- | ||
− | | 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || | + | | 209 || [https://t.me/call_me_Dory Диана Сусла] || [https://t.me/KrupetsSanches Александр Крупецков] || D4Vl7P4 |
|- | |- | ||
− | | 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || | + | | 2010 || [https://t.me/mrkimster Сергей Ким] || [https://t.me/messlav Вячеслав Пирогов] || 5sfP4yz |
|} | |} | ||
Строка 59: | Строка 59: | ||
* Э - оценка за экзамен | * Э - оценка за экзамен | ||
− | Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >=8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен. | + | Округление арифметическое. Определим накопленную оценку как ''Накоп'' = ''Округление''((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить ''Накоп'' в качестве итоговой оценки, не приходя на экзамен. |
'''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа. | '''Формат экзамена''': письменный, в аудитории, материалами пользоваться не разрешается, 2 часа. | ||
Строка 87: | Строка 87: | ||
# Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись] | # Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: [https://www.youtube.com/watch?v=O9JV_Kgd31E&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=3&t=1939s&ab_channel=ФКНВШЭ—дистанционныезанятия запись] | ||
# Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись] | # Разбор дифференцирования из МДЗ 1, операция свертки: [https://youtu.be/xa69n0yCid8 запись] | ||
+ | # Архитектуры сверточных нейронных сетей: [https://youtu.be/5S5HpbDm7eA запись] | ||
+ | # Задачи компьютерного зрения, сегментация и детекция: [https://youtu.be/gJfDJoLEZIY запись] | ||
+ | # Токенизация текстов, эмбеддинги слов, TextCNN: [https://youtu.be/WihC2R5lNmg запись] | ||
+ | # Рекуррентные нейронные сети, языковые модели: [https://youtu.be/Ysj4i2S0D6c запись] | ||
+ | # Архитектура трансформера: [https://youtu.be/wLUJVRqzEyM запись] | ||
+ | # Self-supervised learning, BERT, SimCLR: [https://youtu.be/VpfqcP8HRmQ запись] | ||
+ | # Трансформеры для компьютерного зрения: [https://youtu.be/Dd7uQiAzrnA запись] | ||
+ | # Оценка неопределенности, дистилляция, прунинг, квантизация: [https://youtu.be/Jc-wbLCHtns запись] | ||
+ | # Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/banZhpreS2Y запись] | ||
+ | # Автокодировщик, вариационный автокодировщик: [https://youtu.be/sscXFM9jcHA запись] | ||
+ | # Loss landscape, mode connectivity: [https://youtu.be/3II2nWX4GQ0 запись] | ||
=== Не МОП === | === Не МОП === | ||
+ | |||
+ | В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы: | ||
+ | |||
+ | # Введение в нейронные сети, полносвязные нейронные сети, оптимизация | ||
+ | # Сверточные нейронные сети | ||
+ | # Современные архитектуры для работы с изображениями | ||
+ | # Работа с последовательностями и рекуррентные архитектуры | ||
== Семинары == | == Семинары == | ||
Строка 97: | Строка 115: | ||
# Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)] | # Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: [https://www.youtube.com/watch?v=LZQVBuzttjM&list=PLEwK9wdS5g0onnKgvKxuUJN1Ojchl9Q9P&index=4&t=1799s&ab_channel=ФКНВШЭ—дистанционныезанятия запись (группа 202)] | ||
# Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)] | # Свертки в PyTorch, реализация архитектуры LeNet: [https://youtu.be/CCCiGacZAVo запись (группа 202)] | ||
+ | # Обучение моделей из torchvision, аугментации и fine-tuning: [https://youtu.be/1wCd23p2l98 запись (группа 202)] | ||
+ | # Семантическая сегментация и детекция: [https://youtu.be/NSNYSEYAHa8 запись (группа 202)] | ||
+ | # Word2Vec, Fasttext и TextCNN: [https://youtu.be/2r67B1sPlDU запись (группа 202)] | ||
+ | # Генерация последовательностей, image captioning: [https://youtu.be/-KdvXtUhwEk запись (группа 202)] | ||
+ | # Архитектура трансформера: [https://youtu.be/QY456sQVTrM запись (группа 202)] | ||
+ | # Дообучение модели BERT: [https://youtu.be/XeFc3-_AYl8 запись (группа 202)] | ||
+ | # Семинар по теме не проводился | ||
+ | # Дистилляция, прунинг, квантизация: [https://youtu.be/vbvsqvcipO8 запись (группа 202)] | ||
+ | # Соревновательные атаки, генеративно-состязательные сети (GAN): [https://youtu.be/KgVkxjxf_T0 запись (группа 202)] | ||
+ | # Автокодировщик, вариационный автокодировщик: [https://youtu.be/BCvYmiIsNqQ запись (группа 202)] | ||
+ | # Семинар по теме не проводился | ||
=== Не МОП === | === Не МОП === | ||
== Маленькие домашние задания == | == Маленькие домашние задания == | ||
+ | |||
+ | === МОП === | ||
'''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка] | '''МДЗ №1.''' Автоматическое дифференцирование и полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/tree/2022-2023/homeworks-small/shw-01-mlp ссылка] | ||
Строка 106: | Строка 137: | ||
Дата выдачи: '''27.09.22 (вт)''' | Дата выдачи: '''27.09.22 (вт)''' | ||
− | Мягкий дедлайн: ''' | + | Мягкий дедлайн: '''19.10.22 23:59 (ср)''' |
− | Жесткий дедлайн: ''' | + | Жесткий дедлайн: '''23.10.22 23:59 (вс)''' |
+ | |||
+ | '''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка] | ||
+ | |||
+ | Дата выдачи: '''21.10.22 (пт)''' | ||
+ | |||
+ | Мягкий дедлайн: '''06.11.22 23:59 (вс)''' | ||
+ | |||
+ | Жесткий дедлайн: '''10.11.22 23:59 (чт)''' | ||
+ | |||
+ | '''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка] | ||
+ | |||
+ | Дата выдачи: '''12.01.22 (чт)''' | ||
+ | |||
+ | Мягкий дедлайн: '''29.01.23 23:59 (вс)''' | ||
+ | |||
+ | Жесткий дедлайн: '''02.02.23 23:59 (чт)''' | ||
+ | |||
+ | === Не МОП === | ||
+ | |||
+ | '''МДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-01-mlp-light.ipynb ссылка] | ||
+ | |||
+ | Дата выдачи: '''08.11.22 (вт)''' | ||
+ | |||
+ | Мягкий дедлайн: '''23.11.22 23:59 (ср)''' | ||
+ | |||
+ | Жесткий дедлайн: '''27.11.22 23:59 (вс)''' | ||
+ | |||
+ | '''МДЗ №2.''' Сверточный классификатор: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-02-cnn.ipynb ссылка] | ||
+ | |||
+ | Дата выдачи: '''02.12.22 (вт)''' | ||
+ | |||
+ | Мягкий дедлайн: '''16.12.22 23:59 (ср)''' | ||
+ | |||
+ | Жесткий дедлайн: '''18.12.22 23:59 (вс)''' | ||
+ | |||
+ | '''МДЗ №3.''' RNN и языковые модели: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-small/shw-03-rnn/shw-03-rnn.ipynb ссылка] | ||
+ | |||
+ | Дата выдачи: '''01.03.23 (ср)''' | ||
+ | |||
+ | Мягкий дедлайн: '''20.03.23 23:59 (пн)''' | ||
+ | |||
+ | Жесткий дедлайн: '''22.03.23 23:59 (ср)''' | ||
== Большие домашние задания == | == Большие домашние задания == | ||
+ | Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. '''Выдаются только группам МОПа.''' | ||
+ | |||
+ | '''БДЗ №1.''' Классификация изображений. | ||
+ | |||
+ | Подробности задания ищите по ссылке в канале с объявлениями. | ||
+ | |||
+ | Дата выдачи: '''14.11.22 (пн)''' | ||
+ | |||
+ | Мягкий дедлайн (чекпойнт): '''29.11.22 23:59 (вт)''' | ||
+ | |||
+ | Жесткий дедлайн (чекпойнт): '''06.12.22 23:59 (вт)''' | ||
+ | |||
+ | Мягкий дедлайн (финальная сдача): '''13.12.22 23:59 (вт)''' | ||
+ | |||
+ | Жесткий дедлайн (финальная сдача): '''17.12.22 23:59 (сб)''' | ||
+ | |||
+ | '''БДЗ №2.''' Машинный перевод. | ||
+ | |||
+ | Подробности задания ищите по ссылке в канале с объявлениями. | ||
+ | |||
+ | Дата выдачи: '''19.02.23 (вс)''' | ||
+ | |||
+ | Мягкий дедлайн (чекпойнт): '''05.03.23 23:59 (вс)''' | ||
+ | |||
+ | Жесткий дедлайн (чекпойнт): '''12.03.23 23:59 (вс)''' | ||
+ | |||
+ | Мягкий дедлайн (финальная сдача): '''19.03.23 23:59 (вс)''' | ||
+ | |||
+ | Жесткий дедлайн (финальная сдача): '''22.03.23 23:59 (ср)''' | ||
== Теоретические домашние задания == | == Теоретические домашние задания == | ||
Строка 118: | Строка 220: | ||
'''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка] | '''ТДЗ №1.''' Полносвязные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-01-mlp.pdf ссылка] | ||
+ | |||
+ | '''ТДЗ №2.''' Сверточные нейронные сети: [https://github.com/isadrtdinov/intro-to-dl-hse/blob/2022-2023/homeworks-theory/thw-02-cnn.pdf ссылка] |
Текущая версия на 13:51, 23 сентября 2023
Содержание
О курсе
Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
- Глубинное обучение 1 (для групп МОП: 201-203)
- Введение в глубинное обучение (для групп остальных специализаций, кроме РС: 204, 207-2010).
Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.
Цели освоения курса
- Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
- Владение фреймворком PyTorch для обучения нейронных сетей.
- Понимание различных задач, которые решаются с применением глубинного обучения.
- Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
Полезные ссылки
- Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse
- Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing
- Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)
- Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)
Преподаватели и ассистенты
Лекции (МОП); кому писать, если кажется, что все пропало: Ильдус Садртдинов
Группа | Семинарист | Ассистенты | Инвайт в anytask |
---|---|---|---|
201 | Дарья Барановская | Иван Пешехонов, Никита Корягин | gMVmQgY |
202 | Ильдус Садртдинов | Сергей Пилипенко, Мадина Халматова | oDu4b6c |
203 | Алексей Биршерт | Мария Поклонская, Дмитрий Лишуди | eqbgrKV |
204 | Никита Морозов | Фома Шипилов | STMB5yV |
207 | Анжела Сухарева | Злата Клименко | I6JUg1f |
208 | Аким Цвигун | Лилия Курченко | WSekHxn |
209 | Диана Сусла | Александр Крупецков | D4Vl7P4 |
2010 | Сергей Ким | Вячеслав Пирогов | 5sfP4yz |
Формулы оценок
МОП
Итог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)
- БДЗ - оценка за большие домашние задания
- МДЗ - оценка за маленькие домашние задания
- ПР - оценка за проверочные работы (проводятся на семинарах)
- Э - оценка за экзамен
Округление арифметическое. Определим накопленную оценку как Накоп = Округление((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить Накоп в качестве итоговой оценки, не приходя на экзамен.
Формат экзамена: письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.
Формат пересдачи: накопленная оценка сохраняется, формат аналогичен экзамену.
Не МОП
Итог = Округление(0.7 * МДЗ + 0.3 * ПР)
- МДЗ - оценка за маленькие домашние задания
- ПР - оценка за проверочные работы (проводятся на семинарах)
Округление арифметическое.
Формат экзамена: экзамен не предусмотрен.
Формат пересдачи: досдача МДЗ.
Лекции
МОП
Конспект от @ninachely: notion
- Автоматическое дифференцирование, полносвязные нейронные сети: запись
- Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: запись
- Разбор дифференцирования из МДЗ 1, операция свертки: запись
- Архитектуры сверточных нейронных сетей: запись
- Задачи компьютерного зрения, сегментация и детекция: запись
- Токенизация текстов, эмбеддинги слов, TextCNN: запись
- Рекуррентные нейронные сети, языковые модели: запись
- Архитектура трансформера: запись
- Self-supervised learning, BERT, SimCLR: запись
- Трансформеры для компьютерного зрения: запись
- Оценка неопределенности, дистилляция, прунинг, квантизация: запись
- Соревновательные атаки, генеративно-состязательные сети (GAN): запись
- Автокодировщик, вариационный автокодировщик: запись
- Loss landscape, mode connectivity: запись
Не МОП
В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:
- Введение в нейронные сети, полносвязные нейронные сети, оптимизация
- Сверточные нейронные сети
- Современные архитектуры для работы с изображениями
- Работа с последовательностями и рекуррентные архитектуры
Семинары
МОП
- Введение в библиотеку PyTorch. Автоматическое дифференцирование: запись (группа 202)
- Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: запись (группа 202)
- Свертки в PyTorch, реализация архитектуры LeNet: запись (группа 202)
- Обучение моделей из torchvision, аугментации и fine-tuning: запись (группа 202)
- Семантическая сегментация и детекция: запись (группа 202)
- Word2Vec, Fasttext и TextCNN: запись (группа 202)
- Генерация последовательностей, image captioning: запись (группа 202)
- Архитектура трансформера: запись (группа 202)
- Дообучение модели BERT: запись (группа 202)
- Семинар по теме не проводился
- Дистилляция, прунинг, квантизация: запись (группа 202)
- Соревновательные атаки, генеративно-состязательные сети (GAN): запись (группа 202)
- Автокодировщик, вариационный автокодировщик: запись (группа 202)
- Семинар по теме не проводился
Не МОП
Маленькие домашние задания
МОП
МДЗ №1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка
Дата выдачи: 27.09.22 (вт)
Мягкий дедлайн: 19.10.22 23:59 (ср)
Жесткий дедлайн: 23.10.22 23:59 (вс)
МДЗ №2. Сверточный классификатор: ссылка
Дата выдачи: 21.10.22 (пт)
Мягкий дедлайн: 06.11.22 23:59 (вс)
Жесткий дедлайн: 10.11.22 23:59 (чт)
МДЗ №3. RNN и языковые модели: ссылка
Дата выдачи: 12.01.22 (чт)
Мягкий дедлайн: 29.01.23 23:59 (вс)
Жесткий дедлайн: 02.02.23 23:59 (чт)
Не МОП
МДЗ №1. Полносвязные нейронные сети: ссылка
Дата выдачи: 08.11.22 (вт)
Мягкий дедлайн: 23.11.22 23:59 (ср)
Жесткий дедлайн: 27.11.22 23:59 (вс)
МДЗ №2. Сверточный классификатор: ссылка
Дата выдачи: 02.12.22 (вт)
Мягкий дедлайн: 16.12.22 23:59 (ср)
Жесткий дедлайн: 18.12.22 23:59 (вс)
МДЗ №3. RNN и языковые модели: ссылка
Дата выдачи: 01.03.23 (ср)
Мягкий дедлайн: 20.03.23 23:59 (пн)
Жесткий дедлайн: 22.03.23 23:59 (ср)
Большие домашние задания
Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. Выдаются только группам МОПа.
БДЗ №1. Классификация изображений.
Подробности задания ищите по ссылке в канале с объявлениями.
Дата выдачи: 14.11.22 (пн)
Мягкий дедлайн (чекпойнт): 29.11.22 23:59 (вт)
Жесткий дедлайн (чекпойнт): 06.12.22 23:59 (вт)
Мягкий дедлайн (финальная сдача): 13.12.22 23:59 (вт)
Жесткий дедлайн (финальная сдача): 17.12.22 23:59 (сб)
БДЗ №2. Машинный перевод.
Подробности задания ищите по ссылке в канале с объявлениями.
Дата выдачи: 19.02.23 (вс)
Мягкий дедлайн (чекпойнт): 05.03.23 23:59 (вс)
Жесткий дедлайн (чекпойнт): 12.03.23 23:59 (вс)
Мягкий дедлайн (финальная сдача): 19.03.23 23:59 (вс)
Жесткий дедлайн (финальная сдача): 22.03.23 23:59 (ср)
Теоретические домашние задания
Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления
ТДЗ №1. Полносвязные нейронные сети: ссылка
ТДЗ №2. Сверточные нейронные сети: ссылка