Глубинное обучение-МОиВС-2022

О курсе

Преподаватель:

Мария Тихонова, Senior Data Scientist (SberDevices, Sber), преподаватель (НИУ ВШЭ), руководитель курсов по МО (OTUS)

Тихонова Мария Ивановна: Senior Data Scientist (Sber, SberDevices), преподаватель (НИУ ВШЭ), руководитель курсов по Машинному обучению (OTUS)

Семинары

Канал курса в Telegram: Присоединиться к каналу в Телеграм

Чат курса: Присоединиться к чату

---

Занятия в пятом модуле проводятся на Webinar.ru по вторникам с 18:00 до 19:20

---

Занятия в четвертом модуле проводились в Zoom по средам в 18:00: [1]

Все материалы занятий находятся здесь: Ссылка на GitHub-репозиторий курса

Репозиторий с материалами прошлого года: Ссылка на GitHub-репозиторий курса

Материалы к курсу (перед семинарами)

Модуль 5

1. К первому занятию (06.09.22) посмотреть лекцию Жени Соколова про механизм внимания и трансформеры и краткое интро в архитектуры трансформеров
2. Ко второму (08.09.22): пересмотреть (или же посмотреть :D) видео из пункта выше
3. К третьему (15.09.22): видео со страницы соответствующей недели курса на GitHub
4. К четвёртому (20.09.22 с Ильдаром Сафило), по RecSys: отдыхайте :)
5. К пятому (27.09.22 с Ильдаром), по RecSys:
6. К шестому (11.10.22 снова с Эльдаром Валитовым):

Модуль 4

Плейлист курса Е.Соколова "Основы Глубинного обучения": YouTube

1. Посмотреть к первому занятию (12.04.22): Lecture 1, Введение, Lecture 2. Backprop, Convolutions
2. Ко второму (20.04.22): Всё то же введение от Е. Соколова, Lecture 4. CNNs, Оптимизация в DL
3. К третьему (27.04.22): Lecture 2. CNN-1, Lecture 3. CNN-2, Lecture 5. ConvNets Augmentation, Dropouts and Normalization
4. К четвёртому (11.05.22): Lecture 6, ConvNets Architectures, Lecture 7. CV tasks, Lecture 8. CV
5. К пятому (16.05.22):
6. К шестому (19.05.22): Coursera, Week4. Autoencoders and GANs, Лекция MIT (дополнительно, если осталось время), Хорошая статья по VAE
7. К седьмому (25.05.22): Lecture 9.Word Embeddings
8. К восьмому (01.06.22): Lecture 10. Recurrent neural networks, освежаем теорию по LSTM

Материалы по курсу (во время семинаров)

Модуль 4

# Занятие 1: Статья про разные методы оптимизации

1. Занятие 2: Colab-Ноутбук, Cheatsheet "Torch equivalents of numpy functions"
2. Занятие 3: Distill - Latest articles about ML (Clear, Dynamic and Vivid)
3. Занятие 4: Подробнейшая статья про Свёртки для CV
4. Занятие 5:
5. Занятие 6:
6. Занятие 7: Соревнование по CV от ods.ai
7. Занятие 8: Статья про суммаризатор текстов, демо-бета версия на ML-space

Ссылки на видеозаписи занятий

Записи занятий: Записи занятий на YouTube

Расписание

Группа	Ссылка	Преподаватель	Учебный ассистент	Инвайт в anytask
Время	Zoom	Мария Тихонова	Артем Червяков	PKivb1Q

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

• Первое обязательное домашнее задание;
• Второе обязательное домашнее задание;
• Третье обязательное домашнее задание;
• Лол, четвертое обязательное домашнее задание;

В каждом модуле оценка выставляется отдельно.

O_{4_модуль} = 0.5 * Обязательное ДЗ №1 + 0.5 * Обязательное ДЗ №2

O_{5_модуль} = 0.15 * Среднее за тесты по лекциям + 0.3 * Обязательное ДЗ №3 + 0.3 * Обязательное ДЗ №4 + 0.25 * Экзамен; если накоп (тесты и дз) >= 8, то автоматом (без экзамена) ставится накопленная оценка

Семинары

Материалы семинаров: GitHub

Домашние задания

Все домашние работы необходимо сдавать в Anytask.

Инвайт для Anytask

PKivb1Q

Модуль 5

Домашнее задание №3 (Обязательное)

Автоэнкодеры и трансформеры

Задание состоит из 3-х частей:

• дописать код для реализации простой Encoder-Decoder модели (1 балл);
• реализовать сеть с кастомным Attention слоем (7 баллов);
• поэкспериментировать с различными моделями для получения лучшего скора (2 балла).

Предусмотрена Бонусная часть (до +3 баллов)

Ноутбук с заданием: on Dropbox

Мягкий дедлайн: 02 октября 23:59. После него каждые 3 дня снимаем 1 балл

Жесткий дедлайн: 11 октября 23:59. После него работы не принимаются

Домашнее задание №4 (Обязательное)

Глубинное обучение в рекомендательных системах

За это домашнее задание вы можете получить до 14 баллов - своеобразная компенсация сложности предыдущего

Тетрадка с заданием: in Colab

Дедлайн (очень жёсткий): 6 ноября (Вс), 23:59

Модуль 4

Домашнее задание №1 (Обязательное)

Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). Ссылка на ноутбук с заданием., данные

Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели.

Части оцениваются совместно - максимум за работу 10 баллов.

Жесткий дедлайн - 26.05 (Чт) 9:00

Домашнее задание №2 (Обязательное)

Крайнее в четвёртом модуле задание

Вся необходимая информация собрана в [репозитории], ссылки для скачивания датасета: [train], [test]

Дедлайн: 23 июня 2022, 9:00