Просмотр исходного текста страницы МОВС Проектная практика по BigData 2022-23 7 модуль

==О курсе==

Занятия проводятся в [https://us06web.zoom.us/j/82611255875?pwd=dVpjZkJrbTc5cHplajUzUXE5YXFTZz09 Zoom] '''по субботам в 16:00'''

==Контакты==

Канал курса в TG: [[https://t.me/+Bdlim13epaVlMzAy channel link]]

Чат курса в TG: [[ chat link]]

Преподаватель: Ахтямов Павел Ибрагимович

==Материалы курса==
Ссылка на плейлист курса на YouTube: [[https://www.youtube.com/playlist?list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht YouTube-playlist]]

Ссылка на GitHub с материалами курса: [[https://gitlab.akhcheck.ru/bigdataproject2023 GitLab ]]

Ссылка на GDrive: [[https://drive.google.com/drive/folders/1keV4NXX8XHq8OBaLd-N03gsAdTa5VzY_?usp=share_link click]]

{| class="wikitable"
|-
 ! Занятие !! Тема !! Дата !! Дополнительные материалы
|-
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=rhuAA5mDbeI&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Основы MLops в концепции больших данных  || 14.01.2023 || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Стартовый проект]
|-
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=X6Dhd9eSvZo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] FastAPI || 21.01.2023 || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Примеры с занятий 2-3] 
|-
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=2VoCWptLne0&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Деплой || 28.01.2023 || 
|-
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=H4ToKkh25vo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Мониторинг и логгирование: ELK-стек (ElasticSearch + Logstash + Kibana), PLG-стек (Promtail, Loki, Grafana). Prometheus|| 04.02.2023 || 
|-
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=2SFRIdUjuQs&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes || 11.02.2023 || 
|-
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=yAmbiVArFp8&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes 2 || 18.02.2023 || 
|-
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=AowGaB8uhTM&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] CDeployment образа на сайт по ssh через Gitlab Container Registry || 25.02.2023 || 
|-
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=OgV9wfSpUwo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] MLops: Model Registry, хранение результатов экспериментов, деплой моделей. AirFlow, MLFlow|| 04.03.2023 || [https://www.youtube.com/watch?v=DaNv-Wf1MBA Видео про Feast]
|-
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=5fuueejpIeA&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Пример ML-pipeline'а || 18.03.2023 || 
|-
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Презентация проектов на доп. оценку || 31.03.2023 || 
|-
|}

==Формула оценивания==

* 2 задания - уд.
* 4 задания - хор.
* 5 идеально выполненных / 6 хорошо выполненных заданий - отл.

Презентация проекта '''31.03, 18:00''' даёт +1 задание в общий зачет

== Домашние задания ==
Система сдачи заданий: https://akhcheck.ru

# обернуть сервис в Docker
# обернуть сервис в Docker-Compose + настроить БД в Docker-Compose
# вынести обучение моделей//инференс в очередь сообщений с обработками по статусам
# настроить мониторинг
# Kubernetes
# yастроить nginx
# настроить CD

== Литература ==
# https://github.com/visenger/awesome-mlops
# [http://www.mlebook.com/wiki/doku.php?id=start Machine Learning Engineering], Andriy Burkov