Глубинное обучение 1 22/23

Материал из Wiki - Факультет компьютерных наук
Версия от 13:51, 23 сентября 2023; Isadrtdinov 1 (обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

О курсе

Это страничка курсов 2022-2023 года (1-3 модуль 3 курса ПМИ):

  • Глубинное обучение 1 (для групп МОП: 201-203)
  • Введение в глубинное обучение (для групп остальных специализаций, кроме РС: 204, 207-2010).

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются задачи на изображения и тексты.

Цели освоения курса

  1. Знать принцип работы и уметь обучать следующие виды нейронных сетей: полносвязные, сверточные, рекуррентные, трансформеры.
  2. Владение фреймворком PyTorch для обучения нейронных сетей.
  3. Понимание различных задач, которые решаются с применением глубинного обучения.
  4. Умение обрабатывать данные и составлять пайплайны для обучения нейронных сетей.

Полезные ссылки

  • Чат с обсуждением (МОП): +F6omM9r5jDYyZWMy (добавить после хттпс://т.ме/)
  • Чат с обсуждением (не МОП): +SDpvrQwM4g0yZWFi (добавить после хтппс://т.ме/)

Преподаватели и ассистенты

Лекции (МОП); кому писать, если кажется, что все пропало: Ильдус Садртдинов

Группа Семинарист Ассистенты Инвайт в anytask
201 Дарья Барановская Иван Пешехонов, Никита Корягин gMVmQgY
202 Ильдус Садртдинов Сергей Пилипенко, Мадина Халматова oDu4b6c
203 Алексей Биршерт Мария Поклонская, Дмитрий Лишуди eqbgrKV
204 Никита Морозов Фома Шипилов STMB5yV
207 Анжела Сухарева Злата Клименко I6JUg1f
208 Аким Цвигун Лилия Курченко WSekHxn
209 Диана Сусла Александр Крупецков D4Vl7P4
2010 Сергей Ким Вячеслав Пирогов 5sfP4yz

Формулы оценок

МОП

Итог = Округление(0.3 * БДЗ + 0.25 * МДЗ + 0.15 ПР + 0.3 * Э)

  • БДЗ - оценка за большие домашние задания
  • МДЗ - оценка за маленькие домашние задания
  • ПР - оценка за проверочные работы (проводятся на семинарах)
  • Э - оценка за экзамен

Округление арифметическое. Определим накопленную оценку как Накоп = Округление((0.3 * БДЗ + 0.25 МДЗ + 0.15 * ПР) / 0.7). Если Накоп >= 8, то студент может получить Накоп в качестве итоговой оценки, не приходя на экзамен.

Формат экзамена: письменный, в аудитории, материалами пользоваться не разрешается, 2 часа.

Формат пересдачи: накопленная оценка сохраняется, формат аналогичен экзамену.

Не МОП

Итог = Округление(0.7 * МДЗ + 0.3 * ПР)

  • МДЗ - оценка за маленькие домашние задания
  • ПР - оценка за проверочные работы (проводятся на семинарах)

Округление арифметическое.

Формат экзамена: экзамен не предусмотрен.

Формат пересдачи: досдача МДЗ.

Лекции

МОП

Конспект от @ninachely: notion

  1. Автоматическое дифференцирование, полносвязные нейронные сети: запись
  2. Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: запись
  3. Разбор дифференцирования из МДЗ 1, операция свертки: запись
  4. Архитектуры сверточных нейронных сетей: запись
  5. Задачи компьютерного зрения, сегментация и детекция: запись
  6. Токенизация текстов, эмбеддинги слов, TextCNN: запись
  7. Рекуррентные нейронные сети, языковые модели: запись
  8. Архитектура трансформера: запись
  9. Self-supervised learning, BERT, SimCLR: запись
  10. Трансформеры для компьютерного зрения: запись
  11. Оценка неопределенности, дистилляция, прунинг, квантизация: запись
  12. Соревновательные атаки, генеративно-состязательные сети (GAN): запись
  13. Автокодировщик, вариационный автокодировщик: запись
  14. Loss landscape, mode connectivity: запись

Не МОП

В качестве лекционного материала используется онлайн-курс "Основы глубинного обучения", который охватывает следующие темы:

  1. Введение в нейронные сети, полносвязные нейронные сети, оптимизация
  2. Сверточные нейронные сети
  3. Современные архитектуры для работы с изображениями
  4. Работа с последовательностями и рекуррентные архитектуры

Семинары

МОП

  1. Введение в библиотеку PyTorch. Автоматическое дифференцирование: запись (группа 202)
  2. Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: запись (группа 202)
  3. Свертки в PyTorch, реализация архитектуры LeNet: запись (группа 202)
  4. Обучение моделей из torchvision, аугментации и fine-tuning: запись (группа 202)
  5. Семантическая сегментация и детекция: запись (группа 202)
  6. Word2Vec, Fasttext и TextCNN: запись (группа 202)
  7. Генерация последовательностей, image captioning: запись (группа 202)
  8. Архитектура трансформера: запись (группа 202)
  9. Дообучение модели BERT: запись (группа 202)
  10. Семинар по теме не проводился
  11. Дистилляция, прунинг, квантизация: запись (группа 202)
  12. Соревновательные атаки, генеративно-состязательные сети (GAN): запись (группа 202)
  13. Автокодировщик, вариационный автокодировщик: запись (группа 202)
  14. Семинар по теме не проводился

Не МОП

Маленькие домашние задания

МОП

МДЗ №1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка

Дата выдачи: 27.09.22 (вт)

Мягкий дедлайн: 19.10.22 23:59 (ср)

Жесткий дедлайн: 23.10.22 23:59 (вс)

МДЗ №2. Сверточный классификатор: ссылка

Дата выдачи: 21.10.22 (пт)

Мягкий дедлайн: 06.11.22 23:59 (вс)

Жесткий дедлайн: 10.11.22 23:59 (чт)

МДЗ №3. RNN и языковые модели: ссылка

Дата выдачи: 12.01.22 (чт)

Мягкий дедлайн: 29.01.23 23:59 (вс)

Жесткий дедлайн: 02.02.23 23:59 (чт)

Не МОП

МДЗ №1. Полносвязные нейронные сети: ссылка

Дата выдачи: 08.11.22 (вт)

Мягкий дедлайн: 23.11.22 23:59 (ср)

Жесткий дедлайн: 27.11.22 23:59 (вс)

МДЗ №2. Сверточный классификатор: ссылка

Дата выдачи: 02.12.22 (вт)

Мягкий дедлайн: 16.12.22 23:59 (ср)

Жесткий дедлайн: 18.12.22 23:59 (вс)

МДЗ №3. RNN и языковые модели: ссылка

Дата выдачи: 01.03.23 (ср)

Мягкий дедлайн: 20.03.23 23:59 (пн)

Жесткий дедлайн: 22.03.23 23:59 (ср)

Большие домашние задания

Большие домашние задания подразумевают реализацию пайплайна обучения и тестирования нейросети на выданных данных. Выдаются только группам МОПа.

БДЗ №1. Классификация изображений.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: 14.11.22 (пн)

Мягкий дедлайн (чекпойнт): 29.11.22 23:59 (вт)

Жесткий дедлайн (чекпойнт): 06.12.22 23:59 (вт)

Мягкий дедлайн (финальная сдача): 13.12.22 23:59 (вт)

Жесткий дедлайн (финальная сдача): 17.12.22 23:59 (сб)

БДЗ №2. Машинный перевод.

Подробности задания ищите по ссылке в канале с объявлениями.

Дата выдачи: 19.02.23 (вс)

Мягкий дедлайн (чекпойнт): 05.03.23 23:59 (вс)

Жесткий дедлайн (чекпойнт): 12.03.23 23:59 (вс)

Мягкий дедлайн (финальная сдача): 19.03.23 23:59 (вс)

Жесткий дедлайн (финальная сдача): 22.03.23 23:59 (ср)

Теоретические домашние задания

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

ТДЗ №1. Полносвязные нейронные сети: ссылка

ТДЗ №2. Сверточные нейронные сети: ссылка