МОВС Открытый курс MLOps Начало (2023-24, 1 модуль) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
(UPD after sem2) |
м (UPD after sem3) |
||
| Строка 39: | Строка 39: | ||
| style="background:#eaecf0;" | '''2''' [[https://stepik.org/lesson/1074008/step/1?unit=1084080 Запись на Stepik]], [[https://www.youtube.com/watch?v=TdoclDajN38&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_2.pdf Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || || [https://airflow.apache.org/docs/apache-airflow/stable/start.html AirFlow Quick Start], [https://docs.conda.io/projects/conda/en/4.6.0/_downloads/52a95608c49671267e40c689e0bc00ca/conda-cheatsheet.pdf Conda Cheatsheet] | | style="background:#eaecf0;" | '''2''' [[https://stepik.org/lesson/1074008/step/1?unit=1084080 Запись на Stepik]], [[https://www.youtube.com/watch?v=TdoclDajN38&list=PLmA-1xX7IuzAixCe10sFhyTcyunSc5Zdi Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_2.pdf Слайды]] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. || 22.09.23 || || [https://airflow.apache.org/docs/apache-airflow/stable/start.html AirFlow Quick Start], [https://docs.conda.io/projects/conda/en/4.6.0/_downloads/52a95608c49671267e40c689e0bc00ca/conda-cheatsheet.pdf Conda Cheatsheet] | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Слайды]] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? || 29.09.23 || || | + | | style="background:#eaecf0;" | '''3''' [[https://stepik.org/lesson/1074010/step/13?unit=1084082 Запись на Stepik]], [[ Запись на YouTube]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_3.pdf Слайды]] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? || 29.09.23 || || [https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/xcoms.html Документация про XCom AirFlow], [https://docs.astronomer.io/learn/airflow-context#:~:text=The%20Airflow%20context%20is%20a,be%20accessed%20from%20a%20task Context AirFlow] |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Слайды]] Обучение нескольких моделей одновременно. Чтение и хранение данных на S3. || 06.10.23 || || | + | | style="background:#eaecf0;" | '''4''' [[ Запись]] || [[https://stepik.org/media/attachments/course/181476/MLOps_inception_4.pdf Слайды]] Обучение нескольких моделей одновременно. Чтение и хранение данных на S3. || 06.10.23 || || |
|- | |- | ||
| style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Слайды]] Установка и настройка MLFlow. Повторяем эксперимент, но теперь версионируем с помощью MLFlow. || 13.10.23 || || | | style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Слайды]] Установка и настройка MLFlow. Повторяем эксперимент, но теперь версионируем с помощью MLFlow. || 13.10.23 || || | ||
Версия 10:16, 5 октября 2023
Содержание
О курсе
Вы познакомитесь с концепцией MLOps, поймете, как именно Data Scientist использует DevOps и CI/CD в своих решениях, а также попробуете самостоятельно создать пайплайн обучения ML-модели с помощью AirFlow и версионировать свои эксперименты с помощью MLFlow. Ближе к концу участников интенсива ждет мини-проект по обучению ML-модели по расписанию.
Цель этого курса - научиться поднимать необходимое окружение для ML-экспериментов и грамотно версионировать свои результаты.
Занятия проводятся в Zoom по пятницам в 18:00
Этот же курс на платформе Stepik: https://stepik.org/course/181476/promo
Контакты
Чат курса в TG: https://t.me/+3kpj_Dt2BmBjZjA6
Преподаватель: Елизавета Гаврилова, Senior ML Engineer
| Ассистент | Telegram |
|---|---|
| Андрей | @mr_dyadyunov |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub repository
| Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
|---|---|---|---|---|
| 1 [Запись на Stepik], [Запись на YouTube] | [Слайды] MLOps интро. MLOps для регулярного обучения моделей: обзор стека AirFlow+MLFlow+S3 | 15.09.23 |
Вебинар о продуктивизации ML-решений "От Jupyter Notebook до полноценного продукта" Почитать про обучение моделей в sklearn | |
| 2 [Запись на Stepik], [Запись на YouTube] | [Слайды] Виртуальные машины и виртуальные окружения. Сетап необходимой инфраструктуры: установка и настройка AirFlow, MLFlow, S3. | 22.09.23 | AirFlow Quick Start, Conda Cheatsheet | |
| 3 [Запись на Stepik], Запись на YouTube | [Слайды] Что такое DAG? Мой первый DAG для обучения модели: из чего состоит пайплайн обучения? | 29.09.23 | Документация про XCom AirFlow, Context AirFlow | |
| 4 Запись | [Слайды] Обучение нескольких моделей одновременно. Чтение и хранение данных на S3. | 06.10.23 | ||
| 5 Запись | Слайды Установка и настройка MLFlow. Повторяем эксперимент, но теперь версионируем с помощью MLFlow. | 13.10.23 | ||
| 6 Запись | Слайды Обзор финального задания. Подводя итоги: сравнение кастомного версионирования с готового решения MLFlow. | 20.10.23 |
Формула оценивания
Оценка = 0.4*ОТесты + 0.6*ОПроект
Описание проектов
Литература
- "Machine Learning Engineering" by Andriy Burkov, 2020
- "Practical MLOps: Operationalizing Machine Learning Models (2021)", Noah Gift & Alfredo Deza
