Глубинное обучение 1 22/23
Содержание
О курсе
Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):
- Глубинное обучение 1 (для групп МОП: 201-203)
- Введение в глубинное обучение (для групп остальных специализаций, кроме РС: 204, 207-2010).
Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.
Цели освоения курса
- Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
- Владение фреймворком PyTorch для обучения нейронных сетей.
- Понимание различных задач, которые решаются с применением глубинного обучения.
- Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.
Полезные ссылки
- Репозиторий курса: https://github.com/isadrtdinov/intro-to-dl-hse
- Таблица с оценками: https://docs.google.com/spreadsheets/d/1GUChnaG3M9zVVY-p8qtgsYrLas43w__BxrnyobNGctw/edit?usp=sharing
- Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)
- Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)
Преподаватели и ассистенты
Лекции (МОП); кому писать, если кажется, что все пропало: Ильдус Садртдинов
Группа | Семинарист | Ассистенты | Инвайт в anytask |
---|---|---|---|
201 | Дарья Барановская | Иван Пешехонов, Никита Корягин | TBA |
202 | Ильдус Садртдинов | Сергей Пилипенко, Мадина Халматова | TBA |
203 | Алексей Биршерт | Мария Поклонская, Дмитрий Лишуди | TBA |
204 | Никита Морозов | Фома Шипилов | TBA |
207 | Анжела Сухарева | Злата Клименко | TBA |
208 | Аким Цвигун | Лилия Курченко | TBA |
209 | Диана Сусла | Александр Крупецков | TBA |
2010 | Сергей Ким | Вячеслав Пирогов | TBA |
Формулы оценок
МОП
Итог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)
- БДЗ - оценка за большие домашние задания
- МДЗ - оценка за маленькие домашние задания
- ПР - оценка за проверочные работы (проводятся на семинарах)
- Э - оценка за экзамен
Округление арифметическое. Определим накопленную оценку как Накоп = Округление((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >=8, то студент может получить Накоп в качестве итоговой оценки, не приходя на экзамен.
Формат экзамена: письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.
Формат пересдачи: накопленная оценка сохраняется, формат аналогичен экзамену.
Не МОП
Итог = Округление(0.7 * МДЗ + 0.3 * ПР)
- МДЗ - оценка за маленькие домашние задания
- ПР - оценка за проверочные работы (проводятся на семинарах)
Округление арифметическое.
Формат экзамена: экзамен не предусмотрен.
Формат пересдачи: досдача МДЗ.
Лекции
МОП
- Автоматическое дифференцирование, полносвязные нейронные сети: запись
- Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: запись
- Разбор дифференцирования из МДЗ 1, операция свертки: запись
Не МОП
Семинары
МОП
- Введение в библиотеку PyTorch. Автоматическое дифференцирование: запись (группа 202)
- Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: запись (группа 202)
- Свертки в PyTorch, реализация архитектуры LeNet: запись (группа 202)
Не МОП
Маленькие домашние задания
МДЗ №1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка
Дата выдачи: 27.09.22 (вт)
Мягкий дедлайн: 16.10.22 23:59 (вс)
Жесткий дедлайн: 20.10.22 23:59 (чт)
Большие домашние задания
Теоретические домашние задания
Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления
ТДЗ №1. Полносвязные нейронные сети: ссылка