МОВС Открытый курс MLOps Начало (2023-24, 1 модуль) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (del Zoom link)
м (finalize literature list)
 
(не показано 9 промежуточных версии 2 участников)
Строка 1: Строка 1:
 
==О курсе==
 
==О курсе==
  
−
''Вы познакомитесь с концепцией MLOps, поймете, как именно Data Scientist  использует DevOps и CI/CD в своих решениях, а также попробуете самостоятельно создать пайплайн обучения ML-модели с помощью AirFlow и версионировать свои эксперименты  с помощью MLFlow. Ближе к концу участников интенсива ждет мини-проект по обучению ML-модели по расписанию.''<br/>
+
''Вы познакомитесь с концепцией MLOps, поймете, как именно Data Scientist  использует автоматизацию в своих решениях, а также попробуете самостоятельно создать пайплайн обучения ML-модели с помощью AirFlow и версионировать свои эксперименты  с помощью MLFlow. Ближе к концу участников интенсива ждет мини-проект по обучению ML-модели по расписанию.''<br/>
 
'' '''Цель''' этого курса - научиться поднимать необходимое окружение для ML-экспериментов и грамотно версионировать свои результаты.''
 
'' '''Цель''' этого курса - научиться поднимать необходимое окружение для ML-экспериментов и грамотно версионировать свои результаты.''
  
 
<br/>
 
<br/>
−
Занятия проводятся в [[ Zoom]] '''по пятницам в 18:00'''
+
Занятия проводятся в [https://us06web.zoom.us/j/81650688573?pwd=ElQS3YSjcgYu1B3tgpgqCOQyWvpQvk.1 Zoom] '''по пятницам в 18:00'''
  
 
Этот же курс на платформе Stepik: https://stepik.org/course/181476/promo
 
Этот же курс на платформе Stepik: https://stepik.org/course/181476/promo
Строка 25: Строка 25:
 
==Материалы курса==
 
==Материалы курса==
 
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi YouTube-playlist]
 
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi YouTube-playlist]
−
 
−
Ссылка на GitHub с материалами курса: [[ GitHub repository]]
 
  
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
+
  ! Занятие !! Тема !! Дата !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Слайды]] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 || 15.09.23 || ||
+
| style="background:#eaecf0;" | '''1''' [[https://stepik.org/lesson/1074007/step/2?unit=1084079 Запись на Stepik]], [[https://www.youtube.com/watch?v=H9DDo2FA2G0&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_1.pdf Слайды]] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 || 15.09.23 ||  
 +
[https://www.youtube.com/watch?v=3ZWRMv5WBdw Вебинар] о продуктивизации ML-решений "От Jupyter Notebook до полноценного продукта"
 +
 
 +
[https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html Почитать] про обучение моделей в sklearn
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || ||
+
| style="background:#eaecf0;" | '''2''' [[https://stepik.org/lesson/1074008/step/1?unit=1084080 Запись на Stepik]], [[https://www.youtube.com/watch?v=TdoclDajN38&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_2.pdf Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || [https://airflow.apache.org/docs/apache-airflow/stable/start.html AirFlow Quick Start], [https://docs.conda.io/projects/conda/en/4.6.0/_downloads/52a95608c49671267e40c689e0bc00ca/conda-cheatsheet.pdf Conda Cheatsheet]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Слайды]] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? || 29.09.23 || ||
+
| style="background:#eaecf0;" | '''3''' [[https://stepik.org/lesson/1074010/step/13?unit=1084082 Запись на Stepik]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_3.pdf Слайды]] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? || 29.09.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Слайды]] Обучение нескольких моделей одновременно. Чтение и хранение данных на S3. || 06.10.23 || ||
+
| style="background:#eaecf0;" | '''4''' [[https://stepik.org/lesson/1074009/step/2?unit=1084081 Запись на Stepik, Теория]], [[https://stepik.org/lesson/1074009/step/3?unit=1084081 Запись на Stepik, Практика]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_4.pdf Слайды]] Обучение нескольких моделей одновременно. Концепция X-Com в AirFlow. || 06.10.23 || [https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/xcoms.html Документация про XCom AirFlow], [https://docs.astronomer.io/learn/airflow-context#:~:text=The%20Airflow%20context%20is%20a,be%20accessed%20from%20a%20task Context AirFlow]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Слайды]] Установка и настройка MLFlow. Повторяем эксперимент, но теперь версионируем с помощью MLFlow. || 13.10.23 || ||
+
| style="background:#eaecf0;" | '''5''' [[https://stepik.org/lesson/1074011/step/1?unit=1084083 Запись на Stepik]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_5.pdf Слайды]] Как устроен MLFlow? Как запустить MLFlow? || 13.10.23 || [https://mlflow.org/docs/latest/quickstart.html MLFlow QuickStart], [https://stackoverflow.com/questions/75057477/mlflow-server-difference-between-default-artifact-root-and-artifacts#:~:text=The%20%2D%2Ddefault%2Dartifact%2Droot,artifacts%20for%20every%20new%20experiment.&text=%2D%2Dartifacts%2Ddestination%20is%20used%20to%20specify%20the,of%20artifacts%20in%20HTTP%20requests. параметры запуска MLFlow], [https://andreyex.ru/ubuntu/v-chem-raznitsa-bashrc-i-bash_profile/ .bashrc vs bash_profile]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Слайды]] Обзор финального задания. Подводя итоги: сравнение кастомного версионирования с готового решения MLFlow. || 20.10.23 || ||  
+
| style="background:#eaecf0;" | '''6''' [[https://stepik.org/lesson/1074012/step/1?unit=1084084 Запись на Stepik]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_6.pdf Слайды]] MLFlow NestedRun. AirFlow ревью. Обзор финального задания. || 20.10.23 ||
 
|-
 
|-
 
|}
 
|}
Строка 51: Строка 52:
  
 
== Описание проектов ==
 
== Описание проектов ==
−
 
+
Лучше [https://stepik.org/lesson/1074012/step/6?unit=1084084 заглянуть на Stepik]
  
 
== Литература ==
 
== Литература ==
 
# "Machine Learning Engineering" by Andriy Burkov, 2020
 
# "Machine Learning Engineering" by Andriy Burkov, 2020
 
# "Practical MLOps: Operationalizing Machine Learning Models (2021)", Noah Gift & Alfredo Deza
 
# "Practical MLOps: Operationalizing Machine Learning Models (2021)", Noah Gift & Alfredo Deza
−
#
 

Текущая версия на 08:10, 12 ноября 2023

О курсе

Вы познакомитесь с концепцией MLOps, поймете, как именно Data Scientist использует автоматизацию в своих решениях, а также попробуете самостоятельно создать пайплайн обучения ML-модели с помощью AirFlow и версионировать свои эксперименты с помощью MLFlow. Ближе к концу участников интенсива ждет мини-проект по обучению ML-модели по расписанию.
Цель этого курса - научиться поднимать необходимое окружение для ML-экспериментов и грамотно версионировать свои результаты.


Занятия проводятся в Zoom по пятницам в 18:00

Этот же курс на платформе Stepik: https://stepik.org/course/181476/promo

Контакты

Чат курса в TG: https://t.me/+3kpj_Dt2BmBjZjA6

Преподаватель: Елизавета Гаврилова, Senior ML Engineer

Ассистент Telegram
Андрей @mr_dyadyunov

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Занятие Тема Дата Дополнительные материалы
1 [Запись на Stepik], [Запись на YouTube] [Слайды] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 15.09.23

Вебинар о продуктивизации ML-решений "От Jupyter Notebook до полноценного продукта"

Почитать про обучение моделей в sklearn

2 [Запись на Stepik], [Запись на YouTube] [Слайды] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. 22.09.23 AirFlow Quick Start, Conda Cheatsheet
3 [Запись на Stepik] [Слайды] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? 29.09.23
4 [Запись на Stepik, Теория], [Запись на Stepik, Практика] [Слайды] Обучение нескольких моделей одновременно. Концепция X-Com в AirFlow. 06.10.23 Документация про XCom AirFlow, Context AirFlow
5 [Запись на Stepik] [Слайды] Как устроен MLFlow? Как запустить MLFlow? 13.10.23 MLFlow QuickStart, параметры запуска MLFlow, .bashrc vs bash_profile
6 [Запись на Stepik] [Слайды] MLFlow NestedRun. AirFlow ревью. Обзор финального задания. 20.10.23

Формула оценивания

Оценка = 0.4*ОТесты + 0.6*ОПроект

Описание проектов

Лучше заглянуть на Stepik

Литература

  1. "Machine Learning Engineering" by Andriy Burkov, 2020
  2. "Practical MLOps: Operationalizing Machine Learning Models (2021)", Noah Gift & Alfredo Deza
Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Открытый_курс_MLOps_Начало_(2023-24,_1_модуль)&oldid=81500»