МОВС Открытый курс MLOps Начало (2023-24, 1 модуль) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
(→О курсе) |
м (Finalize) |
||
| Строка 25: | Строка 25: | ||
==Материалы курса== | ==Материалы курса== | ||
Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi YouTube-playlist] | Ссылка на плейлист курса на YouTube: [https://www.youtube.com/playlist?list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi YouTube-playlist] | ||
| − | |||
| − | |||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
| − | ! Занятие !! Тема !! Дата | + | ! Занятие !! Тема !! Дата !! Дополнительные материалы |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''1''' [[https://stepik.org/lesson/1074007/step/2?unit=1084079 Запись на Stepik]], [[https://www.youtube.com/watch?v=H9DDo2FA2G0&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_1.pdf Слайды]] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 || 15.09.23 | + | | style="background:#eaecf0;" | '''1''' [[https://stepik.org/lesson/1074007/step/2?unit=1084079 Запись на Stepik]], [[https://www.youtube.com/watch?v=H9DDo2FA2G0&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_1.pdf Слайды]] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 || 15.09.23 || |
[https://www.youtube.com/watch?v=3ZWRMv5WBdw Вебинар] о продуктивизации ML-решений "От Jupyter Notebook до полноценного продукта" | [https://www.youtube.com/watch?v=3ZWRMv5WBdw Вебинар] о продуктивизации ML-решений "От Jupyter Notebook до полноценного продукта" | ||
[https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html Почитать] про обучение моделей в sklearn | [https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html Почитать] про обучение моделей в sklearn | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''2''' [[https://stepik.org/lesson/1074008/step/1?unit=1084080 Запись на Stepik]], [[https://www.youtube.com/watch?v=TdoclDajN38&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_2.pdf Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || | + | | style="background:#eaecf0;" | '''2''' [[https://stepik.org/lesson/1074008/step/1?unit=1084080 Запись на Stepik]], [[https://www.youtube.com/watch?v=TdoclDajN38&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_2.pdf Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || [https://airflow.apache.org/docs/apache-airflow/stable/start.html AirFlow Quick Start], [https://docs.conda.io/projects/conda/en/4.6.0/_downloads/52a95608c49671267e40c689e0bc00ca/conda-cheatsheet.pdf Conda Cheatsheet] |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''3''' [[https://stepik.org/lesson/1074010/step/13?unit=1084082 Запись на Stepik | + | | style="background:#eaecf0;" | '''3''' [[https://stepik.org/lesson/1074010/step/13?unit=1084082 Запись на Stepik]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_3.pdf Слайды]] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? || 29.09.23 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''4''' [[https://stepik.org/lesson/1074009/step/2?unit=1084081 Запись на Stepik, Теория]], [[https://stepik.org/lesson/1074009/step/3?unit=1084081 Запись на Stepik, Практика]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_4.pdf Слайды]] Обучение нескольких моделей одновременно. Концепция X-Com в AirFlow. || 06.10.23 | + | | style="background:#eaecf0;" | '''4''' [[https://stepik.org/lesson/1074009/step/2?unit=1084081 Запись на Stepik, Теория]], [[https://stepik.org/lesson/1074009/step/3?unit=1084081 Запись на Stepik, Практика]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_4.pdf Слайды]] Обучение нескольких моделей одновременно. Концепция X-Com в AirFlow. || 06.10.23 || [https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/xcoms.html Документация про XCom AirFlow], [https://docs.astronomer.io/learn/airflow-context#:~:text=The%20Airflow%20context%20is%20a,be%20accessed%20from%20a%20task Context AirFlow] |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''5''' [[ Запись]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_5.pdf Слайды]] Как устроен MLFlow? Как запустить MLFlow? || 13.10.23 | + | | style="background:#eaecf0;" | '''5''' [[https://stepik.org/lesson/1074011/step/1?unit=1084083 Запись на Stepik]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_5.pdf Слайды]] Как устроен MLFlow? Как запустить MLFlow? || 13.10.23 || [https://mlflow.org/docs/latest/quickstart.html MLFlow QuickStart], [https://stackoverflow.com/questions/75057477/mlflow-server-difference-between-default-artifact-root-and-artifacts#:~:text=The%20%2D%2Ddefault%2Dartifact%2Droot,artifacts%20for%20every%20new%20experiment.&text=%2D%2Dartifacts%2Ddestination%20is%20used%20to%20specify%20the,of%20artifacts%20in%20HTTP%20requests. параметры запуска MLFlow], [https://andreyex.ru/ubuntu/v-chem-raznitsa-bashrc-i-bash_profile/ .bashrc vs bash_profile] |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''6''' [[ Запись]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_6.pdf Слайды]] MLFlow NestedRun. AirFlow ревью. Обзор финального задания. || 20.10.23 | + | | style="background:#eaecf0;" | '''6''' [[https://stepik.org/lesson/1074012/step/1?unit=1084084 Запись на Stepik]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_6.pdf Слайды]] MLFlow NestedRun. AirFlow ревью. Обзор финального задания. || 20.10.23 || |
|- | |- | ||
|} | |} | ||
Версия 08:09, 12 ноября 2023
Содержание
О курсе
Вы познакомитесь с концепцией MLOps, поймете, как именно Data Scientist использует автоматизацию в своих решениях, а также попробуете самостоятельно создать пайплайн обучения ML-модели с помощью AirFlow и версионировать свои эксперименты с помощью MLFlow. Ближе к концу участников интенсива ждет мини-проект по обучению ML-модели по расписанию.
Цель этого курса - научиться поднимать необходимое окружение для ML-экспериментов и грамотно версионировать свои результаты.
Занятия проводятся в Zoom по пятницам в 18:00
Этот же курс на платформе Stepik: https://stepik.org/course/181476/promo
Контакты
Чат курса в TG: https://t.me/+3kpj_Dt2BmBjZjA6
Преподаватель: Елизавета Гаврилова, Senior ML Engineer
| Ассистент | Telegram |
|---|---|
| Андрей | @mr_dyadyunov |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
| Занятие | Тема | Дата | Дополнительные материалы |
|---|---|---|---|
| 1 [Запись на Stepik], [Запись на YouTube] | [Слайды] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 | 15.09.23 |
Вебинар о продуктивизации ML-решений "От Jupyter Notebook до полноценного продукта" Почитать про обучение моделей в sklearn |
| 2 [Запись на Stepik], [Запись на YouTube] | [Слайды] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. | 22.09.23 | AirFlow Quick Start, Conda Cheatsheet |
| 3 [Запись на Stepik] | [Слайды] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? | 29.09.23 | |
| 4 [Запись на Stepik, Теория], [Запись на Stepik, Практика] | [Слайды] Обучение нескольких моделей одновременно. Концепция X-Com в AirFlow. | 06.10.23 | Документация про XCom AirFlow, Context AirFlow |
| 5 [Запись на Stepik] | [Слайды] Как устроен MLFlow? Как запустить MLFlow? | 13.10.23 | MLFlow QuickStart, параметры запуска MLFlow, .bashrc vs bash_profile |
| 6 [Запись на Stepik] | [Слайды] MLFlow NestedRun. AirFlow ревью. Обзор финального задания. | 20.10.23 |
Формула оценивания
Оценка = 0.4*ОТесты + 0.6*ОПроект
Описание проектов
Литература
- "Machine Learning Engineering" by Andriy Burkov, 2020
- "Practical MLOps: Operationalizing Machine Learning Models (2021)", Noah Gift & Alfredo Deza
