МОВС Проектная практика по BigData 2022-23 7 модуль — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (add seminars' records)
м (sem9, GitLab link)
Строка 14: Строка 14:
 
Ссылка на плейлист курса на YouTube: [[https://www.youtube.com/playlist?list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht YouTube-playlist]]
 
Ссылка на плейлист курса на YouTube: [[https://www.youtube.com/playlist?list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht YouTube-playlist]]
  
−
Ссылка на GitHub с материалами курса: [[ GitHub repository]]
+
Ссылка на GitHub с материалами курса: [[https://gitlab.akhcheck.ru/bigdataproject2023 GitLab ]]
  
 
Ссылка на GDrive: [[https://drive.google.com/drive/folders/1keV4NXX8XHq8OBaLd-N03gsAdTa5VzY_?usp=share_link click]]
 
Ссылка на GDrive: [[https://drive.google.com/drive/folders/1keV4NXX8XHq8OBaLd-N03gsAdTa5VzY_?usp=share_link click]]
Строка 20: Строка 20:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы
+
  ! Занятие !! Тема !! Дата !! Дополнительные материалы
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=rhuAA5mDbeI&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Основы MLops в концепции больших данных  || 14.01.2023 || || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Стартовый проект]
+
| style="background:#eaecf0;" | '''1''' [[https://www.youtube.com/watch?v=rhuAA5mDbeI&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Основы MLops в концепции больших данных  || 14.01.2023 || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Стартовый проект]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=X6Dhd9eSvZo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] FastAPI || 21.01.2023 || || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Примеры с занятий 2-3]  
+
| style="background:#eaecf0;" | '''2''' [[https://www.youtube.com/watch?v=X6Dhd9eSvZo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] FastAPI || 21.01.2023 || [https://gitlab.akhcheck.ru/bigdataproject2023/fastapi-sqlalchemy Примеры с занятий 2-3]  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=2VoCWptLne0&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Деплой || 28.01.2023 || ||
+
| style="background:#eaecf0;" | '''3''' [[https://www.youtube.com/watch?v=2VoCWptLne0&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Деплой || 28.01.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=H4ToKkh25vo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Мониторинг и логгирование: ELK-стек (ElasticSearch + Logstash + Kibana), PLG-стек (Promtail, Loki, Grafana). Prometheus|| 04.02.2023 || ||  
+
| style="background:#eaecf0;" | '''4''' [[https://www.youtube.com/watch?v=H4ToKkh25vo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Мониторинг и логгирование: ELK-стек (ElasticSearch + Logstash + Kibana), PLG-стек (Promtail, Loki, Grafana). Prometheus|| 04.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=2SFRIdUjuQs&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes || 11.02.2023 || ||  
+
| style="background:#eaecf0;" | '''5''' [[https://www.youtube.com/watch?v=2SFRIdUjuQs&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes || 11.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=yAmbiVArFp8&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes 2 || 18.02.2023 || ||  
+
| style="background:#eaecf0;" | '''6''' [[https://www.youtube.com/watch?v=yAmbiVArFp8&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Kubernetes 2 || 18.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=AowGaB8uhTM&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] CDeployment образа на сайт по ssh через Gitlab Container Registry || 25.02.2023 || ||  
+
| style="background:#eaecf0;" | '''7''' [[https://www.youtube.com/watch?v=AowGaB8uhTM&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] CDeployment образа на сайт по ssh через Gitlab Container Registry || 25.02.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=OgV9wfSpUwo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] MLops: Model Registry, хранение результатов экспериментов, деплой моделей. AirFlow, MLFlow|| 04.03.2023 || || [https://www.youtube.com/watch?v=DaNv-Wf1MBA Видео про Feast]
+
| style="background:#eaecf0;" | '''8''' [[https://www.youtube.com/watch?v=OgV9wfSpUwo&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] MLops: Model Registry, хранение результатов экспериментов, деплой моделей. AirFlow, MLFlow|| 04.03.2023 || [https://www.youtube.com/watch?v=DaNv-Wf1MBA Видео про Feast]
 
|-
 
|-
−
| style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Пример ML-pipeline'а || 18.03.2023 || ||
+
| style="background:#eaecf0;" | '''9''' [[https://www.youtube.com/watch?v=5fuueejpIeA&list=PLmA-1xX7IuzCI99AlRDzKygfejJEs0pht Запись]] || [[ Ноутбук]] Пример ML-pipeline'а || 18.03.2023 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Презентация проектов на доп. оценку || || ||  
+
| style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] Презентация проектов на доп. оценку || 31.03.23 ||  
 
|-
 
|-
 
|}
 
|}

Версия 21:27, 28 марта 2023

О курсе

Занятия проводятся в Zoom по субботам в 16:00

Контакты

Канал курса в TG: [channel link]

Чат курса в TG: chat link

Преподаватель: Ахтямов Павел Ибрагимович

Материалы курса

Ссылка на плейлист курса на YouTube: [YouTube-playlist]

Ссылка на GitHub с материалами курса: [GitLab ]

Ссылка на GDrive: [click]

Занятие Тема Дата Дополнительные материалы
1 [Запись] Ноутбук Основы MLops в концепции больших данных 14.01.2023 Стартовый проект
2 [Запись] Ноутбук FastAPI 21.01.2023 Примеры с занятий 2-3
3 [Запись] Ноутбук Деплой 28.01.2023
4 [Запись] Ноутбук Мониторинг и логгирование: ELK-стек (ElasticSearch + Logstash + Kibana), PLG-стек (Promtail, Loki, Grafana). Prometheus 04.02.2023
5 [Запись] Ноутбук Kubernetes 11.02.2023
6 [Запись] Ноутбук Kubernetes 2 18.02.2023
7 [Запись] Ноутбук CDeployment образа на сайт по ssh через Gitlab Container Registry 25.02.2023
8 [Запись] Ноутбук MLops: Model Registry, хранение результатов экспериментов, деплой моделей. AirFlow, MLFlow 04.03.2023 Видео про Feast
9 [Запись] Ноутбук Пример ML-pipeline'а 18.03.2023
10 Запись Ноутбук Презентация проектов на доп. оценку 31.03.23

Формула оценивания

Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...


Домашние задания

Система сдачи заданий: https://akhcheck.ru

  1. обернуть сервис в Docker
  2. обернуть сервис в Docker-Compose + настроить БД в Docker-Compose
  3. вынести обучение моделей//инференс в очередь сообщений с обработками по статусам

Литература

Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Проектная_практика_по_BigData_2022-23_7_модуль&oldid=77273»