Глубинное обучение-МОиВС-2022 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(add Maria's bio)
(initial edit for module 5)
Строка 12: Строка 12:
 
Чат курса: [https://t.me/+NQSO Присоединиться к чату]
 
Чат курса: [https://t.me/+NQSO Присоединиться к чату]
  
−
Занятия проводятся в Zoom по средам в 18:00:
+
----
−
[https://us06web.zoom.us/j/89194606293?pwd=K3hhQTFBZVBpM1pweUZRbWRDSFZZdz09]
+
'''Занятия в пятом модуле проводятся в ... по ... в ...'''
 +
----
 +
 
 +
<small>Занятия в четвертом модуле проводились в Zoom по средам в 18:00:
 +
[https://us06web.zoom.us/j/89194606293?pwd=K3hhQTFBZVBpM1pweUZRbWRDSFZZdz09]</small>
 +
 
  
 
Все материалы занятий находятся здесь: [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22 Ссылка на GitHub-репозиторий курса]
 
Все материалы занятий находятся здесь: [https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22 Ссылка на GitHub-репозиторий курса]
Строка 20: Строка 25:
  
 
=== Материалы к курсу (перед семинарами) ===
 
=== Материалы к курсу (перед семинарами) ===
−
Плейлист курса Е.Соколова "Основы Глубинного обучения": [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 YouTube]
+
 
 +
==== Модуль 5 ====
 +
 
 +
 
 +
==== Модуль 4 =====
 +
<small>Плейлист курса Е.Соколова "Основы Глубинного обучения": [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 YouTube]
  
 
# Посмотреть к первому занятию (12.04.22): [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 Lecture 1, Введение], [https://www.youtube.com/watch?v=aSTwlPjJfso&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=3 Lecture 2. Backprop, Convolutions]
 
# Посмотреть к первому занятию (12.04.22): [https://www.youtube.com/watch?v=62sP9QKYrgI&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=2 Lecture 1, Введение], [https://www.youtube.com/watch?v=aSTwlPjJfso&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=3 Lecture 2. Backprop, Convolutions]
Строка 29: Строка 39:
 
# К шестому (19.05.22): [https://www.coursera.org/learn/intro-to-deep-learning/home/week/4 Coursera, Week4. Autoencoders and GANs], [https://www.youtube.com/watch?v=rZufA635dq4 Лекция MIT (дополнительно, если осталось время)], [https://towardsdatascience.com/understanding-variational-autoencoders-vaes-f70510919f73 Хорошая статья по VAE]
 
# К шестому (19.05.22): [https://www.coursera.org/learn/intro-to-deep-learning/home/week/4 Coursera, Week4. Autoencoders and GANs], [https://www.youtube.com/watch?v=rZufA635dq4 Лекция MIT (дополнительно, если осталось время)], [https://towardsdatascience.com/understanding-variational-autoencoders-vaes-f70510919f73 Хорошая статья по VAE]
 
# К седьмому (25.05.22): [https://www.youtube.com/watch?v=_Gnh8Z2Pn_o, Lecture 9.Word Embeddings]
 
# К седьмому (25.05.22): [https://www.youtube.com/watch?v=_Gnh8Z2Pn_o, Lecture 9.Word Embeddings]
−
# К восьмому (01.06.22): [https://www.youtube.com/watch?v=bAnx1E45rrE&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=48, Lecture 10. Recurrent neural networks], [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ освежаем теорию по LSTM]
+
# К восьмому (01.06.22): [https://www.youtube.com/watch?v=bAnx1E45rrE&list=PLEwK9wdS5g0qa3PIhR6HBDJD_QnrfP8Ei&index=48, Lecture 10. Recurrent neural networks], [https://colah.github.io/posts/2015-08-Understanding-LSTMs/ освежаем теорию по LSTM]</small>
  
 
=== Материалы по курсу (во время семинаров) ===
 
=== Материалы по курсу (во время семинаров) ===
−
# Занятие 1: [https://ruder.io/optimizing-gradient-descent/index.html Статья про разные методы оптимизации]
+
==== Модуль 5 ====
 +
 
 +
==== Модуль 4 ====
 +
<small># Занятие 1: [https://ruder.io/optimizing-gradient-descent/index.html Статья про разные методы оптимизации]
 
# Занятие 2: [https://drive.google.com/file/d/1sEhgwRlyaWmGFZ23F0KYZp6MojXp_IxE/view?usp=sharing Colab-Ноутбук], [https://github.com/torch/torch7/wiki/Torch-for-Numpy-users Cheatsheet "Torch equivalents of numpy functions"]
 
# Занятие 2: [https://drive.google.com/file/d/1sEhgwRlyaWmGFZ23F0KYZp6MojXp_IxE/view?usp=sharing Colab-Ноутбук], [https://github.com/torch/torch7/wiki/Torch-for-Numpy-users Cheatsheet "Torch equivalents of numpy functions"]
 
# Занятие 3: [https://distill.pub/ Distill - Latest articles about ML (Clear, Dynamic and Vivid)]
 
# Занятие 3: [https://distill.pub/ Distill - Latest articles about ML (Clear, Dynamic and Vivid)]
Строка 39: Строка 52:
 
# Занятие 6:
 
# Занятие 6:
 
# Занятие 7: [https://ods.ai/competitions/mcs_car_verification Соревнование по CV от ods.ai]
 
# Занятие 7: [https://ods.ai/competitions/mcs_car_verification Соревнование по CV от ods.ai]
−
# Занятие 8: [https://habr.com/ru/company/sberdevices/blog/666420/ Статья про суммаризатор текстов], [https://sbercloud.ru/ru/datahub/rugpt3family/summarizer демо-бета версия на ML-space]
+
# Занятие 8: [https://habr.com/ru/company/sberdevices/blog/666420/ Статья про суммаризатор текстов], [https://sbercloud.ru/ru/datahub/rugpt3family/summarizer демо-бета версия на ML-space]</small>
  
 
=== Ссылки на видеозаписи занятий ===
 
=== Ссылки на видеозаписи занятий ===
Строка 63: Строка 76:
 
В каждом модуле оценка выставляется отдельно.
 
В каждом модуле оценка выставляется отдельно.
  
−
'''O<sub>4_модуль</sub> = Х * Обязательное ДЗ №1 + Y * Обязательное ДЗ №2'''
+
<small>'''O<sub>4_модуль</sub> = Х * Обязательное ДЗ №1 + Y * Обязательное ДЗ №2'''
 +
</small>
  
 
'''O<sub>5_модуль</sub> = Z * Обязательное ДЗ №3'''
 
'''O<sub>5_модуль</sub> = Z * Обязательное ДЗ №3'''
Строка 79: Строка 93:
 
|}
 
|}
  
−
=== Домашнее задание №1 ''(Обязательное)'' ===
+
=== Модуль 5 ===
 +
 
 +
=== Модуль 4 ===
 +
==== Домашнее задание №1 ''(Обязательное)'' ====
  
−
Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). [https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw02/hw2.ipynb Ссылка на ноутбук с заданием.], [https://www.dropbox.com/s/ewf7m59iksdezbk/dataset.zip данные]
+
<small>Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). [https://github.com/hse-ds/iad-deep-learning/blob/master/2021/homeworks/hw02/hw2.ipynb Ссылка на ноутбук с заданием.], [https://www.dropbox.com/s/ewf7m59iksdezbk/dataset.zip данные]
  
 
Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели.  
 
Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели.  
Строка 87: Строка 104:
 
Части оцениваются совместно - максимум за работу 10 баллов.
 
Части оцениваются совместно - максимум за работу 10 баллов.
  
−
'''Жесткий дедлайн - 26.05 (Чт) 9:00'''
+
'''Жесткий дедлайн - 26.05 (Чт) 9:00'''</small>
  
−
=== Домашнее задание №2 ''(Обязательное)'' ===
+
==== Домашнее задание №2 ''(Обязательное)'' ====
  
−
Крайнее в четвёртом модуле задание
+
<small>Крайнее в четвёртом модуле задание
  
 
Вся необходимая информация собрана в [[https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22/week_08_rnn репозитории]], ссылки для скачивания датасета: [[https://www.dropbox.com/s/oq4ksm3a14pljm6/train.csv train]], [[https://www.dropbox.com/s/5imsmsxy8ptt2ke/test.csv test]]
 
Вся необходимая информация собрана в [[https://github.com/MariyaTikhonova/hse_mlds_deep_learning_course/tree/spring_fall_22/week_08_rnn репозитории]], ссылки для скачивания датасета: [[https://www.dropbox.com/s/oq4ksm3a14pljm6/train.csv train]], [[https://www.dropbox.com/s/5imsmsxy8ptt2ke/test.csv test]]
  
−
'''Дедлайн''': 23 июня 2022, 9:00
+
'''Дедлайн''': 23 июня 2022, 9:00</small>

Версия 05:59, 30 августа 2022

О курсе

Преподаватель:

Мария Тихонова, Senior Data Scientist (SberDevices, Sber), преподаватель (НИУ ВШЭ), руководитель курсов по МО (OTUS)

Тихонова Мария Ивановна: Senior Data Scientist (Sber, SberDevices), преподаватель (НИУ ВШЭ), руководитель курсов по Машинному обучению (OTUS)

Семинары

Канал курса в Telegram: Присоединиться к каналу в Телеграм

Чат курса: Присоединиться к чату

Занятия в пятом модуле проводятся в ... по ... в ...

Занятия в четвертом модуле проводились в Zoom по средам в 18:00: [1]


Все материалы занятий находятся здесь: Ссылка на GitHub-репозиторий курса

Репозиторий с материалами прошлого года: Ссылка на GitHub-репозиторий курса

Материалы к курсу (перед семинарами)

Модуль 5

Модуль 4 =

Плейлист курса Е.Соколова "Основы Глубинного обучения": YouTube

  1. Посмотреть к первому занятию (12.04.22): Lecture 1, Введение, Lecture 2. Backprop, Convolutions
  2. Ко второму (20.04.22): Всё то же введение от Е. Соколова, Lecture 4. CNNs, Оптимизация в DL
  3. К третьему (27.04.22): Lecture 2. CNN-1, Lecture 3. CNN-2, Lecture 5. ConvNets Augmentation, Dropouts and Normalization
  4. К четвёртому (11.05.22): Lecture 6, ConvNets Architectures, Lecture 7. CV tasks, Lecture 8. CV
  5. К пятому (16.05.22):
  6. К шестому (19.05.22): Coursera, Week4. Autoencoders and GANs, Лекция MIT (дополнительно, если осталось время), Хорошая статья по VAE
  7. К седьмому (25.05.22): Lecture 9.Word Embeddings
  8. К восьмому (01.06.22): Lecture 10. Recurrent neural networks, освежаем теорию по LSTM

Материалы по курсу (во время семинаров)

Модуль 5

Модуль 4

# Занятие 1: Статья про разные методы оптимизации

  1. Занятие 2: Colab-Ноутбук, Cheatsheet "Torch equivalents of numpy functions"
  2. Занятие 3: Distill - Latest articles about ML (Clear, Dynamic and Vivid)
  3. Занятие 4: Подробнейшая статья про Свёртки для CV
  4. Занятие 5:
  5. Занятие 6:
  6. Занятие 7: Соревнование по CV от ods.ai
  7. Занятие 8: Статья про суммаризатор текстов, демо-бета версия на ML-space

Ссылки на видеозаписи занятий

Записи занятий: Записи занятий на YouTube

Расписание

Группа Ссылка Преподаватель Учебный ассистент Инвайт в anytask
Время Zoom Мария Тихонова Артем Червяков PKivb1Q

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Первое обязательное домашнее задание;
  • Второе обязательное домашнее задание;
  • Третье обязательное домашнее задание.

В каждом модуле оценка выставляется отдельно.

O4_модуль = Х * Обязательное ДЗ №1 + Y * Обязательное ДЗ №2

O5_модуль = Z * Обязательное ДЗ №3

Семинары

Материалы семинаров: GitHub

Домашние задания

Все домашние работы необходимо сдавать в Anytask.

Инвайт для Anytask PKivb1Q

Модуль 5

Модуль 4

Домашнее задание №1 (Обязательное)

Вам предстоит решить домашнее задание по сверточным нейронным сетям (CNN). Ссылка на ноутбук с заданием., данные

Задание состоит из двух частей: написание сверточной нейронной сети "с нуля" и файнтюнинг предобученной модели.

Части оцениваются совместно - максимум за работу 10 баллов.

Жесткий дедлайн - 26.05 (Чт) 9:00

Домашнее задание №2 (Обязательное)

Крайнее в четвёртом модуле задание

Вся необходимая информация собрана в [репозитории], ссылки для скачивания датасета: [train], [test]

Дедлайн: 23 июня 2022, 9:00

Источник — «http://wiki.cs.hse.ru/index.php?title=Глубинное_обучение-МОиВС-2022&oldid=71244»