Глубинное обучение 1 22/23 — различия между версиями

Версия 11:56, 18 октября 2022

О курсе

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):

• Глубинное обучение 1 (для групп МОП: 201-203)
• Введение в глубинное обучение (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

Цели освоения курса

1. Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
2. Владение фреймворком PyTorch для обучения нейронных сетей.
3. Понимание различных задач, которые решаются с применением глубинного обучения.
4. Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

Полезные ссылки

• Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse

• Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing

• Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)

• Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

Преподаватели и ассистенты

Лекции (МОП); кому писать, если кажется, что все пропало: Ильдус Садртдинов

Формулы оценок

МОП

Итог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

• БДЗ - оценка за большие домашние задания
• МДЗ - оценка за маленькие домашние задания
• ПР - оценка за проверочные работы (проводятся на семинарах)
• Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как Накоп = Округление((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить Накоп в качестве итоговой оценки, не приходя на экзамен.

Формат экзамена: письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

Формат пересдачи: накопленная оценка сохраняется, формат аналогичен экзамену.

Не МОП

Итог = Округление(0.7 * МДЗ + 0.3 * ПР)

• МДЗ - оценка за маленькие домашние задания
• ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

Формат экзамена: экзамен не предусмотрен.

Формат пересдачи: досдача МДЗ.

Лекции

МОП

Конспект от @ninachely: notion

1. Автоматическое дифференцирование, полносвязные нейронные сети: запись
2. Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: запись
3. Разбор дифференцирования из МДЗ 1, операция свертки: запись
4. Архитектуры сверточных нейронных сетей запись

Не МОП

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

1. Введение в нейронные сети, полносвязные нейронные сети, оптимизация

Семинары

МОП

1. Введение в библиотеку PyTorch. Автоматическое дифференцирование: запись (группа 202)
2. Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: запись (группа 202)
3. Свертки в PyTorch, реализация архитектуры LeNet: запись (группа 202)
4. Обучение моделей из torchvision, аугментации и fine-tuning запись (группа 202)

Не МОП

Маленькие домашние задания

МОП

МДЗ №1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка

Дата выдачи: 27.09.22 (вт)

Мягкий дедлайн: 19.10.22 23:59 (ср)

Жесткий дедлайн: 23.10.22 23:59 (вс)

Не МОП

Большие домашние задания

Теоретические домашние задания

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

ТДЗ №1. Полносвязные нейронные сети: ссылка