Введение в MLOPS (ИИ24, 5 модуль)

Введение в MLOps (ИИ24, 5 модуль)

Аннотация

Курс посвящён практическим инструментам и подходам MLOps, которые позволяют автоматизировать процесс обучения и эксплуатации моделей машинного обучения. Студенты знакомятся с Docker, Airflow и MLflow, учатся строить пайплайны, логировать эксперименты и организовывать сервинг моделей. Практическая часть реализуется на Python.

Цели

• Развернуть окружение для MLOps с помощью Docker и docker-compose.
• Понимать архитектуру Airflow и MLflow.
• Строить DAG’и и использовать XCom для передачи данных.
• Работать с MLflow для логирования экспериментов и организации Model Registry.
• Разворачивать MLflow Tracking Server с внешними хранилищами (S3).
• Использовать MLflow Model Serving для развёртывания моделей.
• Реализовать end-to-end пайплайн: обучение моделей в Airflow + логирование в MLflow.

Структура курса

Вебинар 1. Введение и установка окружения.

• Обзор Архитектуры Airflow&MLFlow
• Docker и docker-compose. Установка Jupyter, Airflow, MLflow. Подключение S3.

Вебинар 2. Airflow для ML-пайплайнов

• Архитектура Airflow (scheduler, worker, executor, база данных)
• DAG: структура, параметры, расписание
• Connections, Variables, Hooks
• XCom и передача данных между задачами
• Примеры DAG для ML

Вебинар 3. MLflow: эксперименты и хранилище моделей

• Архитектура MLflow Tracking Server
• Логирование экспериментов в Jupyter и Airflow
• MLflow Projects и Models
• Model Registry

Вебинар 4. MLflow Model Serving и финальный проект

• Развёртывание моделей через MLflow Model Serving
• Пример: HuggingFace модель, интеграция через Flask/FastAPI
• End-to-end пайплайн: обучение + логирование + S3 + развёртывание
• Финальный проект и разбор требований

Система оценивания

• Домашнее задание 1 (Airflow) — 20%
• Домашнее задание 2 (MLflow + Serving) — 20%
• Финальный проект (Airflow + MLflow) — 60%

Формула: Итог = ДЗ1 × 0.2 + ДЗ2 × 0.2 + Проект × 0.6

Литература

• Noah Gift, Alfredo Deza — Practical MLOps. O’Reilly, 2021.
• А. В. Платонов — Машинное обучение. Юрайт, 2023.
• Б. Харенслак — Apache Airflow и конвейеры обработки данных. ДМК Пресс, 2022.