МОВС Открытый курс MLOps Начало (2023-24, 1 модуль) — различия между версиями
м (UPD after sem3) |
(→Материалы курса) |
||
Строка 39: | Строка 39: | ||
| style="background:#eaecf0;" | '''2''' [[https://stepik.org/lesson/1074008/step/1?unit=1084080 Запись на Stepik]], [[https://www.youtube.com/watch?v=TdoclDajN38&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_2.pdf Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || || [https://airflow.apache.org/docs/apache-airflow/stable/start.html AirFlow Quick Start], [https://docs.conda.io/projects/conda/en/4.6.0/_downloads/52a95608c49671267e40c689e0bc00ca/conda-cheatsheet.pdf Conda Cheatsheet] | | style="background:#eaecf0;" | '''2''' [[https://stepik.org/lesson/1074008/step/1?unit=1084080 Запись на Stepik]], [[https://www.youtube.com/watch?v=TdoclDajN38&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_2.pdf Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || || [https://airflow.apache.org/docs/apache-airflow/stable/start.html AirFlow Quick Start], [https://docs.conda.io/projects/conda/en/4.6.0/_downloads/52a95608c49671267e40c689e0bc00ca/conda-cheatsheet.pdf Conda Cheatsheet] | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''3''' [[https://stepik.org/lesson/1074010/step/13?unit=1084082 Запись на Stepik]], [[ Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_3.pdf Слайды]] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? || 29.09.23 || || | + | | style="background:#eaecf0;" | '''3''' [[https://stepik.org/lesson/1074010/step/13?unit=1084082 Запись на Stepik]], [[ Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_3.pdf Слайды]] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? || 29.09.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''4''' [[ Запись]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_4.pdf Слайды]] Обучение нескольких моделей одновременно. | + | | style="background:#eaecf0;" | '''4''' [[https://stepik.org/lesson/1074009/step/2?unit=1084081 Запись на Stepik, Теория]], [[https://stepik.org/lesson/1074009/step/3?unit=1084081 Запись на Stepik, Практика]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_4.pdf Слайды]] Обучение нескольких моделей одновременно. Концепция X-Com в AirFlow. || 06.10.23 || || [https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/xcoms.html Документация про XCom AirFlow], [https://docs.astronomer.io/learn/airflow-context#:~:text=The%20Airflow%20context%20is%20a,be%20accessed%20from%20a%20task Context AirFlow] |
|- | |- | ||
− | | style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Слайды]] | + | | style="background:#eaecf0;" | '''5''' [[ Запись]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_5.pdf Слайды]] Как устроен MLFlow? Как запустить MLFlow? || 13.10.23 || || [https://mlflow.org/docs/latest/quickstart.html MLFlow QuickStart], [https://stackoverflow.com/questions/75057477/mlflow-server-difference-between-default-artifact-root-and-artifacts#:~:text=The%20%2D%2Ddefault%2Dartifact%2Droot,artifacts%20for%20every%20new%20experiment.&text=%2D%2Dartifacts%2Ddestination%20is%20used%20to%20specify%20the,of%20artifacts%20in%20HTTP%20requests. параметры запуска MLFlow], [https://andreyex.ru/ubuntu/v-chem-raznitsa-bashrc-i-bash_profile/ .bashrc vs bash_profile] |
|- | |- | ||
− | | style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Слайды]] Обзор финального задания | + | | style="background:#eaecf0;" | '''6''' [[ Запись]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_6.pdf Слайды]] MLFlow NestedRun. AirFlow ревью. Обзор финального задания. || 20.10.23 || || |
|- | |- | ||
|} | |} |
Версия 14:08, 10 ноября 2023
Содержание
О курсе
Вы познакомитесь с концепцией MLOps, поймете, как именно Data Scientist использует DevOps и CI/CD в своих решениях, а также попробуете самостоятельно создать пайплайн обучения ML-модели с помощью AirFlow и версионировать свои эксперименты с помощью MLFlow. Ближе к концу участников интенсива ждет мини-проект по обучению ML-модели по расписанию.
Цель этого курса - научиться поднимать необходимое окружение для ML-экспериментов и грамотно версионировать свои результаты.
Занятия проводятся в Zoom по пятницам в 18:00
Этот же курс на платформе Stepik: https://stepik.org/course/181476/promo
Контакты
Чат курса в TG: https://t.me/+3kpj_Dt2BmBjZjA6
Преподаватель: Елизавета Гаврилова, Senior ML Engineer
Ассистент | Telegram |
---|---|
Андрей | @mr_dyadyunov |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub repository
Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
---|---|---|---|---|
1 [Запись на Stepik], [Запись на YouTube] | [Слайды] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 | 15.09.23 |
Вебинар о продуктивизации ML-решений "От Jupyter Notebook до полноценного продукта" Почитать про обучение моделей в sklearn | |
2 [Запись на Stepik], [Запись на YouTube] | [Слайды] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. | 22.09.23 | AirFlow Quick Start, Conda Cheatsheet | |
3 [Запись на Stepik], Запись на YouTube | [Слайды] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? | 29.09.23 | ||
4 [Запись на Stepik, Теория], [Запись на Stepik, Практика] | [Слайды] Обучение нескольких моделей одновременно. Концепция X-Com в AirFlow. | 06.10.23 | Документация про XCom AirFlow, Context AirFlow | |
5 Запись | [Слайды] Как устроен MLFlow? Как запустить MLFlow? | 13.10.23 | MLFlow QuickStart, параметры запуска MLFlow, .bashrc vs bash_profile | |
6 Запись | [Слайды] MLFlow NestedRun. AirFlow ревью. Обзор финального задания. | 20.10.23 |
Формула оценивания
Оценка = 0.4*ОТесты + 0.6*ОПроект
Описание проектов
Литература
- "Machine Learning Engineering" by Andriy Burkov, 2020
- "Practical MLOps: Operationalizing Machine Learning Models (2021)", Noah Gift & Alfredo Deza