Глубинное обучение 1 22/23 — различия между версиями

Версия 16:55, 26 января 2023

О курсе

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):

• Глубинное обучение 1 (для групп МОП: 201-203)
• Введение в глубинное обучение (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

Цели освоения курса

1. Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
2. Владение фреймворком PyTorch для обучения нейронных сетей.
3. Понимание различных задач, которые решаются с применением глубинного обучения.
4. Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

Полезные ссылки

• Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

• Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

• Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

• Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

Преподаватели и ассистенты

Лекции (МОП); кому писать, если кажется, что все пропало: Ильдус Садртдинов

Формулы оценок

МОП

Итог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

• БДЗ - оценка за большие домашние задания
• МДЗ - оценка за маленькие домашние задания
• ПР - оценка за проверочные работы (проводятся на семинарах)
• Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как Накоп = Округление((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить Накоп в качестве итоговой оценки, не приходя на экзамен.

Формат экзамена: письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

Формат пересдачи: накопленная оценка сохраняется, формат аналогичен экзамену.

Не МОП

Итог = Округление(0.7 * МДЗ + 0.3 * ПР)

• МДЗ - оценка за маленькие домашние задания
• ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

Формат экзамена: экзамен не предусмотрен.

Формат пересдачи: досдача МДЗ.

Лекции

МОП

Конспект от @ninachely: notion

1. Автоматическое дифференцирование, полносвязные нейронные сети: запись
2. Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: запись
3. Разбор дифференцирования из МДЗ 1, операция свертки: запись
4. Архитектуры сверточных нейронных сетей: запись
5. Задачи компьютерного зрения, сегментация и детекция: запись
6. Токенизация текстов, эмбеддинги слов, TextCNN: запись
7. Рекуррентные нейронные сети, языковые модели: запись
8. Архитектура трансформера: запись
9. Self-supervised learning, BERT, SimCLR: запись
10. Трансформеры для компьютерного зрения: запись

Не МОП

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

1. Введение в нейронные сети, полносвязные нейронные сети, оптимизация

Семинары

МОП

1. Введение в библиотеку PyTorch. Автоматическое дифференцирование: запись (группа 202)
2. Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: запись (группа 202)
3. Свертки в PyTorch, реализация архитектуры LeNet: запись (группа 202)
4. Обучение моделей из torchvision, аугментации и fine-tuning: запись (группа 202)
5. Семантическая сегментация и детекция: запись (группа 202)
6. Word2Vec, Fasttext и TextCNN: запись (группа 202)
7. Генерация последовательностей, image captioning: запись (группа 202)
8. Архитектура трансформера: запись (группа 202)
9. Дообучение модели BERT: запись (группа 202)

Не МОП

Маленькие домашние задания

МОП

МДЗ №1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка

Дата выдачи: 27.09.22 (вт)

Мягкий дедлайн: 19.10.22 23:59 (ср)

Жесткий дедлайн: 23.10.22 23:59 (вс)

МДЗ №2. Сверточный классификатор: ссылка

Дата выдачи: 21.10.22 (пт)

Мягкий дедлайн: 06.11.22 23:59 (вс)

Жесткий дедлайн: 10.11.22 23:59 (чт)

МДЗ №3. RNN и языковые модели: ссылка

Дата выдачи: 12.01.22 (чт)

Мягкий дедлайн: 29.01.23 23:59 (вс)

Жесткий дедлайн: 02.02.23 23:59 (чт)

Не МОП

МДЗ №1. Полносвязные нейронные сети: ссылка

Дата выдачи: 08.11.22 (вт)

Мягкий дедлайн: 23.11.22 23:59 (ср)

Жесткий дедлайн: 27.11.22 23:59 (вс)

МДЗ №2. Сверточный классификатор: ссылка

Дата выдачи: 02.12.22 (вт)

Мягкий дедлайн: 16.12.22 23:59 (ср)

Жесткий дедлайн: 18.12.22 23:59 (вс)

Большие домашние задания

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. Выдаются только группам МОПа.

БДЗ №1. Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: 14.11.22 (пн)

Мягкий дедлайн (чекпойнт): 29.11.22 23:59 (вт)

Жесткий дедлайн (чекпойнт): 06.12.22 23:59 (вт)

Мягкий дедлайн (финальная сдача): 13.12.22 23:59 (вт)

Жесткий дедлайн (финальная сдача): 17.12.22 23:59 (сб)

Теоретические домашние задания

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

ТДЗ №1. Полносвязные нейронные сети: ссылка

ТДЗ №2. Сверточные нейронные сети: ссылка