МОВС Data Engineering (2023-24 уч. год, 6 модуль) — различия между версиями

Версия 18:57, 21 ноября 2023

Занятия проводятся в Zoom по средам в 18.00

Онлайн-курс в дополнение к парам: курс

Преподаватель: Дикалин Кирилл, Анатолий Бардуков

Ассистент	Контакты
Андрей Бабынин	@maninoffice
Максим	@mlixakov

Ссылка на GitHub с материалами курса: GitHub repository

Занятие	Тема	Дата
1 Запись	Введение инженер данных	01.11.23
2 Запись	PostgreSQL, Схема данных, Slowly Changing Dimensions	08.11.23
3 Запись	Агрегатные функции, SCD	15.11.23
4 Запись	Ноутбук Работа с данными в разных временных контекстах	22.11.23
5 Запись	Ноутбук Асинхронные и сложные зависимости в данных	29.11.23
6 Запись	Ноутбук Стриминг данных	06.12.23
7 Запись	Ноутбук Оптимизация производительности	13.12.23

Оценка = 0.3*проект + 0.5*практические задания + 0.2*тесты

Инвайт: pAmU3Cl

Нормальные формы и нормализация (см. слайды 1-й лекции) (дедлайн: 14.11.23 23.30)

Kimball, R. and M. Ross. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling (Second Edition), 2002
Inmon, W. H., Teradata, and Corporation. (2016). Building the Data Warehouse. John Wiley & Sons.
Redman, T. C. (1996). Data Quality: The Field Guide. Digital Press.
"Медленно меняющееся измерение (SCD)"
Connelly, J. Asynchronous Data Dependencies in Distributed Systems. ACM Digital Library.
Ousterhout, J. A. (2013). A Philosophy of Software Design. Addison-Wesley.
Martin, R. C. (2017). Clean Architecture: A Craftsman's Guide to Software Structure and Design. Pearson Education.
Fowler, M. (2012). Patterns of Enterprise Application Architecture. Addison-Wesley.
Смит, М., & Дэвидсон, Р. (2015). Разработка эффективных алгоритмов и программ. Вильямс.
Gamma, E., Helm, R., Johnson, R., & Vlissides, J. (1994). Design Patterns: Elements of Reusable Object-Oriented Software. Addison-Wesley.
"SQL Performance Explained" by Markus Winand.
"High Performance MySQL" by Baron Schwartz, Peter Zaitsev, Vadim Tkachenko.
"Designing Data-Intensive Applications" by Martin Kleppmann.
"The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling" by Ralph Kimball and Margy Ross.
"Practical ETL Design: Building High-Performance Data Integration Systems" by Jordan Tigani and Christopher Jones.

...

Jay Kreps - "I Heart Logs: Event Data, Stream Processing, and Data Integration"
Nathan Marz, James Warren - "Big Data: Principles and best practices of scalable real-time data systems"

@@ Строка 33: / Строка 33: @@
 | style="background:#eaecf0;" | '''2''' [https://youtu.be/B2f3XudVmDw?si=s4A1oA5pW4sazJIz Запись] || [https://docs.google.com/presentation/d/1nS_OkWjHURME71EAulZersuvtElPp11L/edit?usp=sharing&ouid=107809942589012152758&rtpof=true&sd=true PostgreSQL, Схема данных, Slowly Changing Dimensions] || 08.11.23 ||
 |-
-| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] Источники данных в DWH || 15.11.23 ||
+| style="background:#eaecf0;" | '''3''' [https://youtu.be/2vnaX7H9leg?si=S08NTQ73_CT16-6N Запись] || [https://docs.google.com/presentation/d/159P4b7ndBmF-sZbxZKJ9S86wdejxT8ju/edit?usp=sharing&ouid=107809942589012152758&rtpof=true&sd=true Агрегатные функции, SCD] || 15.11.23 ||
 |-
 | style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] Работа с данными в разных временных контекстах || 22.11.23 ||