Глубинное обучение-МОиВС-2022 — различия между версиями
(initial edit for module 5) |
(add hw3 and lectures materials; other small fixes) |
||
| Строка 13: | Строка 13: | ||
---- | ---- | ||
| − | '''Занятия в пятом модуле проводятся | + | '''Занятия в пятом модуле проводятся на [https://events.webinar.ru/54933491/556672756 Webinar.ru] ''по вторникам с 18:00 до 19:20'' ''' |
---- | ---- | ||
| Строка 27: | Строка 27: | ||
==== Модуль 5 ==== | ==== Модуль 5 ==== | ||
| + | # К первому занятию (06.09.22) посмотреть [https://youtu.be/P5wNb9Mt9RE лекцию Жени Соколова про механизм внимания и трансформеры] и [https://youtu.be/4Bdc55j80l8 краткое интро в архитектуры трансформеров] | ||
| + | # Ко второму (08.09.22): пересмотреть (или же посмотреть :D) видео из пункта выше | ||
| + | # К третьему (15.09.22): [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22/week_11_speech видео со страницы соответствующей недели курса на GitHub] | ||
| + | # К четвёртому (20.09.22 с Ильдаром), по RecSys: отдыхайте :) | ||
| + | # К пятому (27.09.22 с Ильдаром), по RecSys: | ||
| + | # К шестому (11.10.22 снова с Марией): | ||
| − | + | ==== Модуль 4 ==== | |
| − | ==== Модуль 4 | + | |
<small>Плейлист курса Е.Соколова "Основы Глубинного обучения": [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 YouTube] | <small>Плейлист курса Е.Соколова "Основы Глубинного обучения": [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 YouTube] | ||
| Строка 72: | Строка 77: | ||
* Первое обязательное домашнее задание; | * Первое обязательное домашнее задание; | ||
* Второе обязательное домашнее задание; | * Второе обязательное домашнее задание; | ||
| − | * Третье обязательное домашнее задание | + | * Третье обязательное домашнее задание; |
| + | * Лол, четвертое обязательное домашнее задание; | ||
В каждом модуле оценка выставляется отдельно. | В каждом модуле оценка выставляется отдельно. | ||
| − | <small>'''O<sub>4_модуль</sub> = | + | <small>'''O<sub>4_модуль</sub> = 0.5 * Обязательное ДЗ №1 + 0.5 * Обязательное ДЗ №2''' |
</small> | </small> | ||
| − | '''O<sub>5_модуль</sub> = | + | '''O<sub>5_модуль</sub> = 0.15 * Среднее за тесты по лекциям + 0.3 * Обязательное ДЗ №3 + 0.3 * Обязательное ДЗ №4 + 0.25 * Экзамен'''; если накоп (тесты и дз) >= 8, то автоматом (без экзамена) ставится накопленная оценка |
== Семинары == | == Семинары == | ||
| Строка 94: | Строка 100: | ||
=== Модуль 5 === | === Модуль 5 === | ||
| + | ==== Домашнее задание №3 ''(Обязательное)'' ==== | ||
| + | '''Автоэнкодеры и трасформеры''' | ||
| + | |||
| + | Задание состоит из 3-х частей: | ||
| + | * дописать код для реализации простой Encoder-Decoder модели (''1 балл''); | ||
| + | * реализовать сеть с кастомным Attention слоем (''7 баллов''); | ||
| + | * поэкспериментировать с различными моделями для получения лучшего скора (''2 балла''). | ||
| + | |||
| + | Предусмотрена '''Бонусная часть''' (''до +3 баллов'') | ||
| + | |||
| + | Ноутбук с заданием: [https://www.dropbox.com/s/ohkes28sq6nwrlw/hometask_encoders_transformers.ipynb on Dropbox] | ||
| + | |||
| + | Мягкий дедлайн: '''02 октября 23:59'''. После него каждые 3 дня снимаем 1 балл | ||
| + | |||
| + | Жесткий дедлайн: '''11 октября 23:59'''. После него работы не принимаются | ||
=== Модуль 4 === | === Модуль 4 === | ||
Версия 03:11, 21 сентября 2022
Содержание
О курсе
Преподаватель:
Тихонова Мария Ивановна: Senior Data Scientist (Sber, SberDevices), преподаватель (НИУ ВШЭ), руководитель курсов по Машинному обучению (OTUS)
Семинары
Канал курса в Telegram: Присоединиться к каналу в Телеграм
Чат курса: Присоединиться к чату
Занятия в пятом модуле проводятся на Webinar.ru по вторникам с 18:00 до 19:20
Занятия в четвертом модуле проводились в Zoom по средам в 18:00: [1]
Все материалы занятий находятся здесь: Ссылка на GitHub-репозиторий курса
Репозиторий с материалами прошлого года: Ссылка на GitHub-репозиторий курса
Материалы к курсу (перед семинарами)
Модуль 5
- К первому занятию (06.09.22) посмотреть лекцию Жени Соколова про механизм внимания и трансформеры и краткое интро в архитектуры трансформеров
- Ко второму (08.09.22): пересмотреть (или же посмотреть :D) видео из пункта выше
- К третьему (15.09.22): видео со страницы соответствующей недели курса на GitHub
- К четвёртому (20.09.22 с Ильдаром), по RecSys: отдыхайте :)
- К пятому (27.09.22 с Ильдаром), по RecSys:
- К шестому (11.10.22 снова с Марией):
Модуль 4
Плейлист курса Е.Соколова "Основы Глубинного обучения": YouTube
- Посмотреть к первому занятию (12.04.22): Lecture 1, Введение, Lecture 2. Backprop, Convolutions
- Ко второму (20.04.22): Всё то же введение от Е. Соколова, Lecture 4. CNNs, Оптимизация в DL
- К третьему (27.04.22): Lecture 2. CNN-1, Lecture 3. CNN-2, Lecture 5. ConvNets Augmentation, Dropouts and Normalization
- К четвёртому (11.05.22): Lecture 6, ConvNets Architectures, Lecture 7. CV tasks, Lecture 8. CV
- К пятому (16.05.22):
- К шестому (19.05.22): Coursera, Week4. Autoencoders and GANs, Лекция MIT (дополнительно, если осталось время), Хорошая статья по VAE
- К седьмому (25.05.22): Lecture 9.Word Embeddings
- К восьмому (01.06.22): Lecture 10. Recurrent neural networks, освежаем теорию по LSTM
Материалы по курсу (во время семинаров)
Модуль 5
Модуль 4
# Занятие 1: Статья про разные методы оптимизации
- Занятие 2: Colab-Ноутбук, Cheatsheet "Torch equivalents of numpy functions"
- Занятие 3: Distill - Latest articles about ML (Clear, Dynamic and Vivid)
- Занятие 4: Подробнейшая статья про Свёртки для CV
- Занятие 5:
- Занятие 6:
- Занятие 7: Соревнование по CV от ods.ai
- Занятие 8: Статья про суммаризатор текстов, демо-бета версия на ML-space
Ссылки на видеозаписи занятий
Записи занятий: Записи занятий на YouTube
Расписание
| Группа | Ссылка | Преподаватель | Учебный ассистент | Инвайт в anytask |
| Время | Zoom | Мария Тихонова | Артем Червяков | PKivb1Q |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Первое обязательное домашнее задание;
- Второе обязательное домашнее задание;
- Третье обязательное домашнее задание;
- Лол, четвертое обязательное домашнее задание;
В каждом модуле оценка выставляется отдельно.
O4_модуль = 0.5 * Обязательное ДЗ №1 + 0.5 * Обязательное ДЗ №2
O5_модуль = 0.15 * Среднее за тесты по лекциям + 0.3 * Обязательное ДЗ №3 + 0.3 * Обязательное ДЗ №4 + 0.25 * Экзамен; если накоп (тесты и дз) >= 8, то автоматом (без экзамена) ставится накопленная оценка
Семинары
Материалы семинаров: GitHub
Домашние задания
Все домашние работы необходимо сдавать в Anytask.
| Инвайт для Anytask | PKivb1Q |
Модуль 5
Домашнее задание №3 (Обязательное)
Автоэнкодеры и трасформеры
Задание состоит из 3-х частей:
- дописать код для реализации простой Encoder-Decoder модели (1 балл);
- реализовать сеть с кастомным Attention слоем (7 баллов);
- поэкспериментировать с различными моделями для получения лучшего скора (2 балла).
Предусмотрена Бонусная часть (до +3 баллов)
Ноутбук с заданием: on Dropbox
Мягкий дедлайн: 02 октября 23:59. После него каждые 3 дня снимаем 1 балл
Жесткий дедлайн: 11 октября 23:59. После него работы не принимаются
Модуль 4
Домашнее задание №1 (Обязательное)
Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). Ссылка на ноутбук с заданием., данные
Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели.
Части оцениваются совместно - максимум за работу 10 баллов.
Жесткий дедлайн - 26.05 (Чт) 9:00
Домашнее задание №2 (Обязательное)
Крайнее в четвёртом модуле задание
Вся необходимая информация собрана в [репозитории], ссылки для скачивания датасета: [train], [test]
Дедлайн: 23 июня 2022, 9:00
