МОВС Проектная практика по BigData 2022-23 7 модуль — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(create page)
 
м (add literature)
 
(не показано 5 промежуточных версии этого же участника)
Строка 10: Строка 10:
  
 
Преподаватель: Ахтямов Павел Ибрагимович
 
Преподаватель: Ахтямов Павел Ибрагимович
−
 
  
 
==Материалы курса==
 
==Материалы курса==
 
Ссылка на плейлист курса на YouTube: [[https://www.youtube.com/playlist?list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht YouTube-playlist]]
 
Ссылка на плейлист курса на YouTube: [[https://www.youtube.com/playlist?list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht YouTube-playlist]]
  
−
Ссылка на GitHub с материалами курса: [[ GitHub repository]]
+
Ссылка на GitHub с материалами курса: [[https://gitlab.akhcheck.ru/bigdataproject2023 GitLab ]]
  
 
Ссылка на GDrive: [[https://drive.google.com/drive/folders/1keV4NXX8XHq8OBaLd-N03gsAdTa5VzY_?usp=share_link click]]
 
Ссылка на GDrive: [[https://drive.google.com/drive/folders/1keV4NXX8XHq8OBaLd-N03gsAdTa5VzY_?usp=share_link click]]
Строка 21: Строка 20:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
+
  ! Занятие !! Тема !! Дата !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=rhuAA5mDbeI&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Основы MLops в концепции больших данных  || 14.01.2023 || || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Стартовый проект]
+
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=rhuAA5mDbeI&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Основы MLops в концепции больших данных  || 14.01.2023 || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Стартовый проект]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=X6Dhd9eSvZo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] FastAPI || 21.01.2023 || || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Примеры с занятий 2-3]  
+
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=X6Dhd9eSvZo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] FastAPI || 21.01.2023 || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Примеры с занятий 2-3]  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=2VoCWptLne0&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Деплой || 28.01.2023 || ||
+
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=2VoCWptLne0&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Деплой || 28.01.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=H4ToKkh25vo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Мониторинг и логгирование: ELK-стек (ElasticSearch + Logstash + Kibana), PLG-стек (Promtail, Loki, Grafana). Prometheus|| 04.02.2023 || ||  
+
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=H4ToKkh25vo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Мониторинг и логгирование: ELK-стек (ElasticSearch + Logstash + Kibana), PLG-стек (Promtail, Loki, Grafana). Prometheus|| 04.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=2SFRIdUjuQs&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes || 11.02.2023 || ||  
+
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=2SFRIdUjuQs&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes || 11.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=yAmbiVArFp8&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes 2 || 18.02.2023 || ||  
+
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=yAmbiVArFp8&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes 2 || 18.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=AowGaB8uhTM&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] CDeployment образа на сайт по ssh через Gitlab Container REgistry || 25.02.2023 || ||  
+
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=AowGaB8uhTM&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] CDeployment образа на сайт по ssh через Gitlab Container Registry || 25.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] || 04.03.2023 || ||
+
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=OgV9wfSpUwo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] MLops: Model Registry, хранение результатов экспериментов, деплой моделей. AirFlow, MLFlow|| 04.03.2023 || [https://www.youtube.com/watch?v=DaNv-Wf1MBA Видео про Feast]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] || 11.03.2023 || ||
+
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=5fuueejpIeA&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Пример ML-pipeline'а || 18.03.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] || 18.03.2023 || ||  
+
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Презентация проектов на доп. оценку || 31.03.2023 ||  
 
|-
 
|-
 
|}
 
|}
Строка 47: Строка 46:
 
==Формула оценивания==
 
==Формула оценивания==
  
−
Оценка = ...<вес 1>...*О<sub>...<форма контроля 1>...</sub> + ...<вес 2>...*О<sub>...<форма контроля 2>...</sub> + ...<вес 3>...*О<sub>...<форма контроля 3>...</sub>
+
* 2 задания - уд.
 +
* 4 задания - хор.
 +
* 5 идеально выполненных / 6 хорошо выполненных заданий - отл.
  
 +
Презентация проекта '''31.03, 18:00''' даёт +1 задание в общий зачет
  
 
== Домашние задания ==
 
== Домашние задания ==
Строка 56: Строка 58:
 
# обернуть сервис в Docker-Compose + настроить БД в Docker-Compose
 
# обернуть сервис в Docker-Compose + настроить БД в Docker-Compose
 
# вынести обучение моделей//инференс в очередь сообщений с обработками по статусам
 
# вынести обучение моделей//инференс в очередь сообщений с обработками по статусам
−
#  
+
# настроить мониторинг
 +
# Kubernetes
 +
# yастроить nginx
 +
# настроить CD
  
 
== Литература ==
 
== Литература ==
−
#  
+
# https://github.com/visenger/awesome-mlops
−
#  
+
# [http://www.mlebook.com/wiki/doku.php?id=start Machine Learning Engineering], Andriy Burkov
−
#
+
−
#
+

Текущая версия на 21:43, 28 марта 2023

О курсе

Занятия проводятся в Zoom по субботам в 16:00

Контакты

Канал курса в TG: [channel link]

Чат курса в TG: chat link

Преподаватель: Ахтямов Павел Ибрагимович

Материалы курса

Ссылка на плейлист курса на YouTube: [YouTube-playlist]

Ссылка на GitHub с материалами курса: [GitLab ]

Ссылка на GDrive: [click]

Занятие Тема Дата Дополнительные материалы
1 [Запись] Ноутбук Основы MLops в концепции больших данных 14.01.2023 Стартовый проект
2 [Запись] Ноутбук FastAPI 21.01.2023 Примеры с занятий 2-3
3 [Запись] Ноутбук Деплой 28.01.2023
4 [Запись] Ноутбук Мониторинг и логгирование: ELK-стек (ElasticSearch + Logstash + Kibana), PLG-стек (Promtail, Loki, Grafana). Prometheus 04.02.2023
5 [Запись] Ноутбук Kubernetes 11.02.2023
6 [Запись] Ноутбук Kubernetes 2 18.02.2023
7 [Запись] Ноутбук CDeployment образа на сайт по ssh через Gitlab Container Registry 25.02.2023
8 [Запись] Ноутбук MLops: Model Registry, хранение результатов экспериментов, деплой моделей. AirFlow, MLFlow 04.03.2023 Видео про Feast
9 [Запись] Ноутбук Пример ML-pipeline'а 18.03.2023
10 Запись Ноутбук Презентация проектов на доп. оценку 31.03.2023

Формула оценивания

  • 2 задания - уд.
  • 4 задания - хор.
  • 5 идеально выполненных / 6 хорошо выполненных заданий - отл.

Презентация проекта 31.03, 18:00 даёт +1 задание в общий зачет

Домашние задания

Система сдачи заданий: https://akhcheck.ru

  1. обернуть сервис в Docker
  2. обернуть сервис в Docker-Compose + настроить БД в Docker-Compose
  3. вынести обучение моделей//инференс в очередь сообщений с обработками по статусам
  4. настроить мониторинг
  5. Kubernetes
  6. yастроить nginx
  7. настроить CD

Литература

  1. https://github.com/visenger/awesome-mlops
  2. Machine Learning Engineering, Andriy Burkov
Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Проектная_практика_по_BigData_2022-23_7_модуль&oldid=77277»