Развёртывание ML-моделей в высоконагруженных системах 25 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показано 12 промежуточных версии 2 участников)
Строка 2: Строка 2:
  
 
Курс читается для студентов 4-го курса в 3-м модуле.
 
Курс читается для студентов 4-го курса в 3-м модуле.
−
 
−
 
−
 
−
 
  
  
Строка 14: Строка 10:
 
[https://disk.yandex.ru/d/xOlJ9FKrv4Pspw Видеозаписи лекций этого года (с дублями)]
 
[https://disk.yandex.ru/d/xOlJ9FKrv4Pspw Видеозаписи лекций этого года (с дублями)]
  
−
[https://anytask.org/course/1165 Курс в Anytask]
+
[https://github.com/alexpros/ml_deployment_in_highload_systems Github с материалами курса]
  
 
Чат в telegram для обсуждений:  https://t.me/+JA2WBKb58yIwZWJi
 
Чат в telegram для обсуждений:  https://t.me/+JA2WBKb58yIwZWJi
  
 +
=== Правила выставления оценок ===
  
 +
Итоговая оценка вычисляется на основе оценки за домашние задания в модуле и оценки за финальный проект:
 +
 +
Итог = Округление(0.2 * ДЗ_1 + 0.25 * ДЗ_2 + 0.25 * ДЗ_3 + 0.3 * ПР)
 +
 +
ДЗ_* — оценки за домашние работы
 +
 +
ПР — оценка за финальный проект
 +
 +
Округление арифметическое.
 +
 +
 +
=== Правила сдачи заданий ===
 +
 +
За каждый день просрочки после мягкого дедлайна снимается 2 балла. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.
 +
 +
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
 +
 +
Мы оставляем за собой право пригласить студента для защиты своего ДЗ, если заподозрим плагиат.
 +
 +
При наличии уважительной причины дедлайн по заданию может быть перенесён на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.
  
  
Строка 27: Строка 44:
 
! Дата !! Тема !! Презентация !! Запись
 
! Дата !! Тема !! Презентация !! Запись
 
|-
 
|-
−
| 30.01.2025 || Вводное занятие. Общая информация. || TBD || [https://disk.yandex.ru/d/xOlJ9FKrv4Pspw/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%2B%D0%A1%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%202025-01-30T08-08-26Z%20(2).mp4 Ссылка]
+
| 30.01.2025 || Вводное занятие. Общая информация. || [https://github.com/alexpros/ml_deployment_in_highload_systems/blob/main/week_01_introduction/intruducion_lecture.pdf Ссылка] ||
 +
[https://disk.yandex.ru/d/xOlJ9FKrv4Pspw/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%2B%D0%A1%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%202025-01-30T08-08-26Z%20(2).mp4 Ссылка]
 
|-
 
|-
−
| 06.02.2025 || Знакомство с Triton Inference Server. || TBD || TBD
+
| 06.02.2025 || Знакомство с Triton Inference Server. || [https://github.com/alexpros/ml_deployment_in_highload_systems/blob/main/week_02_triton_inference_server/HSE_Triton_architecture.pdf Ссылка] ||
 +
[https://disk.yandex.ru/d/xOlJ9FKrv4Pspw/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%2B%D0%A1%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%202025-02-06T08-05-10Z%20(1).mp4 Ссылка]
 +
|-
 +
| 13.02.2025 || Backends: python, dali, tensorrt, onnx, llm. || [https://github.com/alexpros/ml_deployment_in_highload_systems/blob/main/week_03_backends/backends_lecture.pdf Ссылка] ||
 +
[https://disk.yandex.ru/d/xOlJ9FKrv4Pspw/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%2B%D0%A1%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%202025-02-13T08-10-19Z%20(2).mp4 Ссылка]
 +
|-
 +
| 20.02.2025 || Конвертация моделей. || TBD ||
 +
[https://disk.yandex.ru/d/xOlJ9FKrv4Pspw/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%2B%D0%A1%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%202025-02-20T08-05-20Z%20(2).mp4 Ссылка]
 +
|-
 +
| 27.02.2025 || Ансамбли. || TBD || [https://disk.yandex.ru/d/xOlJ9FKrv4Pspw/%D0%9B%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%2B%D0%A1%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%202025-02-27T08-05-20Z%20(2).mp4 Ссылка]
 +
|-
 +
| 06.03.2025 || Perf-analyzer. || TBD || TBD
 +
|-
 +
| 13.03.2025 || Сравнение подходов к развертыванию на практике. || TBD || TBD
 +
|-
 +
| 20.03.2025 || Итоговый проект, ответы на вопросы. || TBD || TBD
 
|}
 
|}
  
Строка 39: Строка 72:
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
−
! Дата !! Тема !! Дедлайн !! Ссылка на Anytask
+
! Дата !! Тема !! Дедлайн
 +
|-
 +
| 06.02.2025 || Домашнее задание #1. Построить одношаговый пайплайн на базе Python Backend для классификационной модели с HuggingFace. || 15.02.2025 23:30
 +
|-
 +
| 13.02.2025 || Домашнее задание #2. Конвертация моделей в onnx и работа с onnx backend. || 27.02.2025 23:30
 +
|-
 +
| 02.03.2025 || Домашнее задание #3. Работа с ансамблями и их деплой. || 10.03.2025 23:30
 
|-
 
|-
−
| TBA || Домашнее задание #1. Построить одношаговый пайплайн на базе Python Backend для классификационной модели с HuggingFace. || TBA || TBD
+
| 16.03.2025 || Итоговый проект. || 27.03.2025 23:30
 
|}
 
|}

Текущая версия на 15:22, 16 апреля 2025

О курсе

Курс читается для студентов 4-го курса в 3-м модуле.


Полезные ссылки

Карточка курса и программа

Видеозаписи лекций этого года (с дублями)

Github с материалами курса

Чат в telegram для обсуждений: https://t.me/+JA2WBKb58yIwZWJi

Правила выставления оценок

Итоговая оценка вычисляется на основе оценки за домашние задания в модуле и оценки за финальный проект:

Итог = Округление(0.2 * ДЗ_1 + 0.25 * ДЗ_2 + 0.25 * ДЗ_3 + 0.3 * ПР)

ДЗ_* — оценки за домашние работы

ПР — оценка за финальный проект

Округление арифметическое.


Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 2 балла. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

Мы оставляем за собой право пригласить студента для защиты своего ДЗ, если заподозрим плагиат.

При наличии уважительной причины дедлайн по заданию может быть перенесён на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.


Материалы

Дата Тема Презентация Запись
30.01.2025 Вводное занятие. Общая информация. Ссылка

Ссылка

06.02.2025 Знакомство с Triton Inference Server. Ссылка

Ссылка

13.02.2025 Backends: python, dali, tensorrt, onnx, llm. Ссылка

Ссылка

20.02.2025 Конвертация моделей. TBD

Ссылка

27.02.2025 Ансамбли. TBD Ссылка
06.03.2025 Perf-analyzer. TBD TBD
13.03.2025 Сравнение подходов к развертыванию на практике. TBD TBD
20.03.2025 Итоговый проект, ответы на вопросы. TBD TBD



Домашние задания

Дата Тема Дедлайн
06.02.2025 Домашнее задание #1. Построить одношаговый пайплайн на базе Python Backend для классификационной модели с HuggingFace. 15.02.2025 23:30
13.02.2025 Домашнее задание #2. Конвертация моделей в onnx и работа с onnx backend. 27.02.2025 23:30
02.03.2025 Домашнее задание #3. Работа с ансамблями и их деплой. 10.03.2025 23:30
16.03.2025 Итоговый проект. 27.03.2025 23:30
Источник — «http://wiki.cs.hse.ru/index.php?title=Развёртывание_ML-моделей_в_высоконагруженных_системах_25&oldid=90616»