Глубинное обучение-МОиВС-2022 — различия между версиями
м (add hw-1 deadline info and hw2 filler) |
м (add hw4) |
||
(не показано 15 промежуточных версии 2 участников) | |||
Строка 1: | Строка 1: | ||
== О курсе == | == О курсе == | ||
− | ''' | + | '''Преподаватель:''' |
− | Тихонова Мария Ивановна | + | [[Файл:MariaTikhonova.jpg|250px|thumb|right|Мария Тихонова, Senior Data Scientist (SberDevices, Sber), преподаватель (НИУ ВШЭ), руководитель курсов по МО (OTUS)]] |
+ | [https://www.hse.ru/org/persons/218372994 Тихонова Мария Ивановна]: Senior Data Scientist (Sber, SberDevices), преподаватель (НИУ ВШЭ), руководитель курсов по Машинному обучению (OTUS) | ||
=== Семинары === | === Семинары === | ||
Строка 9: | Строка 10: | ||
[https://t.me/+A9calM9TztZiNWIy Присоединиться к каналу в Телеграм] | [https://t.me/+A9calM9TztZiNWIy Присоединиться к каналу в Телеграм] | ||
− | Занятия проводятся в Zoom по средам в 18:00: | + | Чат курса: [https://t.me/+NQSO Присоединиться к чату] |
− | [https://us06web.zoom.us/j/89194606293?pwd=K3hhQTFBZVBpM1pweUZRbWRDSFZZdz09] | + | |
+ | ---- | ||
+ | '''Занятия в пятом модуле проводятся на [https://events.webinar.ru/54933491/556672756 Webinar.ru] ''по вторникам с 18:00 до 19:20'' ''' | ||
+ | ---- | ||
+ | |||
+ | <small>Занятия в четвертом модуле проводились в Zoom по средам в 18:00: | ||
+ | [https://us06web.zoom.us/j/89194606293?pwd=K3hhQTFBZVBpM1pweUZRbWRDSFZZdz09]</small> | ||
+ | |||
Все материалы занятий находятся здесь: [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22 Ссылка на GitHub-репозиторий курса] | Все материалы занятий находятся здесь: [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22 Ссылка на GitHub-репозиторий курса] | ||
Репозиторий с материалами прошлого года: [https://github.com/pet67/hse_mlds_deep_learning_course Ссылка на GitHub-репозиторий курса] | Репозиторий с материалами прошлого года: [https://github.com/pet67/hse_mlds_deep_learning_course Ссылка на GitHub-репозиторий курса] | ||
+ | |||
+ | === Материалы к курсу (перед семинарами) === | ||
+ | |||
+ | ==== Модуль 5 ==== | ||
+ | # К первому занятию (06.09.22) посмотреть [https://youtu.be/P5wNb9Mt9RE лекцию Жени Соколова про механизм внимания и трансформеры] и [https://youtu.be/4Bdc55j80l8 краткое интро в архитектуры трансформеров] | ||
+ | # Ко второму (08.09.22): пересмотреть (или же посмотреть :D) видео из пункта выше | ||
+ | # К третьему (15.09.22): [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22/week_11_speech видео со страницы соответствующей недели курса на GitHub] | ||
+ | # К четвёртому (20.09.22 с Ильдаром Сафило), по RecSys: отдыхайте :) | ||
+ | # К пятому (27.09.22 с Ильдаром), по RecSys: | ||
+ | # К шестому (11.10.22 снова с Эльдаром Валитовым): | ||
+ | |||
+ | ==== Модуль 4 ==== | ||
+ | <small>Плейлист курса Е.Соколова "Основы Глубинного обучения": [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 YouTube] | ||
+ | |||
+ | # Посмотреть к первому занятию (12.04.22): [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 Lecture 1, Введение], [https://www.youtube.com/watch?v=aSTwlPjJfso&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=3 Lecture 2. Backprop, Convolutions] | ||
+ | # Ко второму (20.04.22): [https://www.youtube.com/watch?v=i8W_ZgiajOs&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&t=770s Всё то же введение от Е. Соколова], [https://www.youtube.com/watch?v=7ljQTZ8HT-A&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=29 Lecture 4. CNNs, Оптимизация в DL] | ||
+ | # К третьему (27.04.22): [https://youtu.be/aSTwlPjJfso?list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&t=2665 Lecture 2. CNN-1], [https://www.youtube.com/watch?v=4nKWQno1vG8&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=11 Lecture 3. CNN-2], [https://youtu.be/7ljQTZ8HT-A?list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&t=3639 Lecture 5. ConvNets Augmentation, Dropouts and Normalization] | ||
+ | # К четвёртому (11.05.22): [https://www.youtube.com/watch?v=yL0KLqEwfv4&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=31 Lecture 6, ConvNets Architectures], [https://www.youtube.com/watch?v=vWl-vlmsomI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=40 Lecture 7. CV tasks], [https://www.youtube.com/watch?v=Z-e_71h1Oew&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=41 Lecture 8. CV] | ||
+ | # К пятому (16.05.22): | ||
+ | # К шестому (19.05.22): [https://www.coursera.org/learn/intro-to-deep-learning/home/week/4 Coursera, Week4. Autoencoders and GANs], [https://www.youtube.com/watch?v=rZufA635dq4 Лекция MIT (дополнительно, если осталось время)], [https://towardsdatascience.com/understanding-variational-autoencoders-vaes-f70510919f73 Хорошая статья по VAE] | ||
+ | # К седьмому (25.05.22): [https://www.youtube.com/watch?v=_Gnh8Z2Pn_o, Lecture 9.Word Embeddings] | ||
+ | # К восьмому (01.06.22): [https://www.youtube.com/watch?v=bAnx1E45rrE&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=48, Lecture 10. Recurrent neural networks], [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ освежаем теорию по LSTM]</small> | ||
+ | |||
+ | === Материалы по курсу (во время семинаров) === | ||
+ | ==== Модуль 5 ==== | ||
+ | |||
+ | ==== Модуль 4 ==== | ||
+ | <small># Занятие 1: [https://ruder.io/optimizing-gradient-descent/index.html Статья про разные методы оптимизации] | ||
+ | # Занятие 2: [https://drive.google.com/file/d/1sEhgwRlyaWmGFZ23F0KYZp6MojXp_IxE/view?usp=sharing Colab-Ноутбук], [https://github.com/torch/torch7/wiki/Torch-for-Numpy-users Cheatsheet "Torch equivalents of numpy functions"] | ||
+ | # Занятие 3: [https://distill.pub/ Distill - Latest articles about ML (Clear, Dynamic and Vivid)] | ||
+ | # Занятие 4: [https://cs231n.github.io/convolutional-networks/ Подробнейшая статья про Свёртки для CV] | ||
+ | # Занятие 5: | ||
+ | # Занятие 6: | ||
+ | # Занятие 7: [https://ods.ai/competitions/mcs_car_verification Соревнование по CV от ods.ai] | ||
+ | # Занятие 8: [https://habr.com/ru/company/sberdevices/blog/666420/ Статья про суммаризатор текстов], [https://sbercloud.ru/ru/datahub/rugpt3family/summarizer демо-бета версия на ML-space]</small> | ||
=== Ссылки на видеозаписи занятий === | === Ссылки на видеозаписи занятий === | ||
Строка 32: | Строка 75: | ||
В курсе предусмотрено несколько форм контроля знания: | В курсе предусмотрено несколько форм контроля знания: | ||
− | * | + | * Первое обязательное домашнее задание; |
− | * | + | * Второе обязательное домашнее задание; |
− | * | + | * Третье обязательное домашнее задание; |
+ | * Лол, четвертое обязательное домашнее задание; | ||
− | + | В каждом модуле оценка выставляется отдельно. | |
− | ''' | + | <small>'''O<sub>4_модуль</sub> = 0.5 * Обязательное ДЗ №1 + 0.5 * Обязательное ДЗ №2''' |
+ | </small> | ||
+ | |||
+ | '''O<sub>5_модуль</sub> = 0.15 * Среднее за тесты по лекциям + 0.3 * Обязательное ДЗ №3 + 0.3 * Обязательное ДЗ №4 + 0.25 * Экзамен'''; если накоп (тесты и дз) >= 8, то автоматом (без экзамена) ставится накопленная оценка | ||
== Семинары == | == Семинары == | ||
Строка 52: | Строка 99: | ||
|} | |} | ||
− | === Домашнее задание | + | === Модуль 5 === |
+ | ==== Домашнее задание №3 ''(Обязательное)'' ==== | ||
+ | ''' ''Автоэнкодеры и трансформеры'' ''' | ||
− | Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). [https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw02/hw2.ipynb Ссылка на ноутбук с заданием.] | + | Задание состоит из 3-х частей: |
+ | * дописать код для реализации простой Encoder-Decoder модели (''1 балл''); | ||
+ | * реализовать сеть с кастомным Attention слоем (''7 баллов''); | ||
+ | * поэкспериментировать с различными моделями для получения лучшего скора (''2 балла''). | ||
+ | |||
+ | Предусмотрена '''Бонусная часть''' (''до +3 баллов'') | ||
+ | |||
+ | Ноутбук с заданием: [https://www.dropbox.com/s/ohkes28sq6nwrlw/hometask_encoders_transformers.ipynb on Dropbox] | ||
+ | |||
+ | Мягкий дедлайн: '''02 октября 23:59'''. После него каждые 3 дня снимаем 1 балл | ||
+ | |||
+ | Жесткий дедлайн: '''11 октября 23:59'''. После него работы не принимаются | ||
+ | |||
+ | ==== Домашнее задание №4 ''(Обязательное)'' ==== | ||
+ | ''' ''Глубинное обучение в рекомендательных системах'' ''' | ||
+ | |||
+ | За это домашнее задание вы можете получить до 14 баллов - своеобразная компенсация сложности предыдущего | ||
+ | |||
+ | Тетрадка с заданием: [https://colab.research.google.com/drive/103gFV79wsjhi7k9HEzxga_jDNNM4j8da?usp=sharing in Colab] | ||
+ | |||
+ | Дедлайн (очень жёсткий): '''6 ноября (Вс), 23:59''' | ||
+ | |||
+ | === Модуль 4 === | ||
+ | ==== Домашнее задание №1 ''(Обязательное)'' ==== | ||
+ | |||
+ | <small>Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). [https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw02/hw2.ipynb Ссылка на ноутбук с заданием.], [https://www.dropbox.com/s/ewf7m59iksdezbk/dataset.zip данные] | ||
Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели. | Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели. | ||
− | + | Части оцениваются совместно - максимум за работу 10 баллов. | |
+ | |||
+ | '''Жесткий дедлайн - 26.05 (Чт) 9:00'''</small> | ||
+ | |||
+ | ==== Домашнее задание №2 ''(Обязательное)'' ==== | ||
+ | |||
+ | <small>Крайнее в четвёртом модуле задание | ||
− | + | Вся необходимая информация собрана в [[https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22/week_08_rnn репозитории]], ссылки для скачивания датасета: [[https://www.dropbox.com/s/oq4ksm3a14pljm6/train.csv train]], [[https://www.dropbox.com/s/5imsmsxy8ptt2ke/test.csv test]] | |
− | + | '''Дедлайн''': 23 июня 2022, 9:00</small> |
Текущая версия на 12:12, 24 октября 2022
Содержание
О курсе
Преподаватель:
Тихонова Мария Ивановна: Senior Data Scientist (Sber, SberDevices), преподаватель (НИУ ВШЭ), руководитель курсов по Машинному обучению (OTUS)
Семинары
Канал курса в Telegram: Присоединиться к каналу в Телеграм
Чат курса: Присоединиться к чату
Занятия в пятом модуле проводятся на Webinar.ru по вторникам с 18:00 до 19:20
Занятия в четвертом модуле проводились в Zoom по средам в 18:00: [1]
Все материалы занятий находятся здесь: Ссылка на GitHub-репозиторий курса
Репозиторий с материалами прошлого года: Ссылка на GitHub-репозиторий курса
Материалы к курсу (перед семинарами)
Модуль 5
- К первому занятию (06.09.22) посмотреть лекцию Жени Соколова про механизм внимания и трансформеры и краткое интро в архитектуры трансформеров
- Ко второму (08.09.22): пересмотреть (или же посмотреть :D) видео из пункта выше
- К третьему (15.09.22): видео со страницы соответствующей недели курса на GitHub
- К четвёртому (20.09.22 с Ильдаром Сафило), по RecSys: отдыхайте :)
- К пятому (27.09.22 с Ильдаром), по RecSys:
- К шестому (11.10.22 снова с Эльдаром Валитовым):
Модуль 4
Плейлист курса Е.Соколова "Основы Глубинного обучения": YouTube
- Посмотреть к первому занятию (12.04.22): Lecture 1, Введение, Lecture 2. Backprop, Convolutions
- Ко второму (20.04.22): Всё то же введение от Е. Соколова, Lecture 4. CNNs, Оптимизация в DL
- К третьему (27.04.22): Lecture 2. CNN-1, Lecture 3. CNN-2, Lecture 5. ConvNets Augmentation, Dropouts and Normalization
- К четвёртому (11.05.22): Lecture 6, ConvNets Architectures, Lecture 7. CV tasks, Lecture 8. CV
- К пятому (16.05.22):
- К шестому (19.05.22): Coursera, Week4. Autoencoders and GANs, Лекция MIT (дополнительно, если осталось время), Хорошая статья по VAE
- К седьмому (25.05.22): Lecture 9.Word Embeddings
- К восьмому (01.06.22): Lecture 10. Recurrent neural networks, освежаем теорию по LSTM
Материалы по курсу (во время семинаров)
Модуль 5
Модуль 4
# Занятие 1: Статья про разные методы оптимизации
- Занятие 2: Colab-Ноутбук, Cheatsheet "Torch equivalents of numpy functions"
- Занятие 3: Distill - Latest articles about ML (Clear, Dynamic and Vivid)
- Занятие 4: Подробнейшая статья про Свёртки для CV
- Занятие 5:
- Занятие 6:
- Занятие 7: Соревнование по CV от ods.ai
- Занятие 8: Статья про суммаризатор текстов, демо-бета версия на ML-space
Ссылки на видеозаписи занятий
Записи занятий: Записи занятий на YouTube
Расписание
Группа | Ссылка | Преподаватель | Учебный ассистент | Инвайт в anytask |
Время | Zoom | Мария Тихонова | Артем Червяков | PKivb1Q |
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Первое обязательное домашнее задание;
- Второе обязательное домашнее задание;
- Третье обязательное домашнее задание;
- Лол, четвертое обязательное домашнее задание;
В каждом модуле оценка выставляется отдельно.
O4_модуль = 0.5 * Обязательное ДЗ №1 + 0.5 * Обязательное ДЗ №2
O5_модуль = 0.15 * Среднее за тесты по лекциям + 0.3 * Обязательное ДЗ №3 + 0.3 * Обязательное ДЗ №4 + 0.25 * Экзамен; если накоп (тесты и дз) >= 8, то автоматом (без экзамена) ставится накопленная оценка
Семинары
Материалы семинаров: GitHub
Домашние задания
Все домашние работы необходимо сдавать в Anytask.
Инвайт для Anytask | PKivb1Q |
Модуль 5
Домашнее задание №3 (Обязательное)
Автоэнкодеры и трансформеры
Задание состоит из 3-х частей:
- дописать код для реализации простой Encoder-Decoder модели (1 балл);
- реализовать сеть с кастомным Attention слоем (7 баллов);
- поэкспериментировать с различными моделями для получения лучшего скора (2 балла).
Предусмотрена Бонусная часть (до +3 баллов)
Ноутбук с заданием: on Dropbox
Мягкий дедлайн: 02 октября 23:59. После него каждые 3 дня снимаем 1 балл
Жесткий дедлайн: 11 октября 23:59. После него работы не принимаются
Домашнее задание №4 (Обязательное)
Глубинное обучение в рекомендательных системах
За это домашнее задание вы можете получить до 14 баллов - своеобразная компенсация сложности предыдущего
Тетрадка с заданием: in Colab
Дедлайн (очень жёсткий): 6 ноября (Вс), 23:59
Модуль 4
Домашнее задание №1 (Обязательное)
Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). Ссылка на ноутбук с заданием., данные
Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели.
Части оцениваются совместно - максимум за работу 10 баллов.
Жесткий дедлайн - 26.05 (Чт) 9:00
Домашнее задание №2 (Обязательное)
Крайнее в четвёртом модуле задание
Вся необходимая информация собрана в [репозитории], ссылки для скачивания датасета: [train], [test]
Дедлайн: 23 июня 2022, 9:00