МОВС Data Engineering (2023-24 уч. год, 6 модуль) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (форматирование списка литературы)
м (добавил ссылки на видео)
Строка 29: Строка 29:
 
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам
 
  ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам
 
|-
 
|-
−
| style="background:#eaecf0;" | '''1''' [[ Запись]] || [https://docs.google.com/presentation/d/1pQgYLAx7Tg50iqRpJ8Sk-x6WwRbb2XJ8/edit?usp=sharing&ouid=101732437281663190857&rtpof=true&sd=true Введение инженер данных] || 01.11.23 ||  
+
| style="background:#eaecf0;" | '''1''' [https://youtu.be/MSqm4E7sBRo?si=CZnryjpWGZ-P22Kj Запись] || [https://docs.google.com/presentation/d/1pQgYLAx7Tg50iqRpJ8Sk-x6WwRbb2XJ8/edit?usp=sharing&ouid=101732437281663190857&rtpof=true&sd=true Введение инженер данных] || 01.11.23 ||  
 
|-
 
|-
−
| style="background:#eaecf0;" | '''2''' [[ Запись]] || [https://docs.google.com/presentation/d/1nS_OkWjHURME71EAulZersuvtElPp11L/edit?usp=sharing&ouid=107809942589012152758&rtpof=true&sd=true PostgreSQL, Схема данных, Slowly Changing Dimensions] || 08.11.23 ||  
+
| style="background:#eaecf0;" | '''2''' [https://youtu.be/B2f3XudVmDw?si=s4A1oA5pW4sazJIz Запись] || [https://docs.google.com/presentation/d/1nS_OkWjHURME71EAulZersuvtElPp11L/edit?usp=sharing&ouid=107809942589012152758&rtpof=true&sd=true PostgreSQL, Схема данных, Slowly Changing Dimensions] || 08.11.23 ||  
 
|-
 
|-
 
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] Источники данных в DWH || 15.11.23 ||
 
| style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] Источники данных в DWH || 15.11.23 ||

Версия 17:46, 9 ноября 2023

О курсе

Занятия проводятся в Zoom по средам в 18.00

Онлайн-курс в дополнение к парам: курс

Контакты

Чат курса в TG: https://t.me/+bZVVpYru9p9mMWVi

Преподаватель: Дикалин Кирилл

Ассистент Контакты
Андрей Бабынин @maninoffice
Максим @mlixakov

Материалы курса

Плейлист курса на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzAlLMt5dER6WYXFuTNhmVpG

Ссылка на GitHub с материалами курса: GitHub repository

Занятие Тема Дата Материалы для самоподготовки к семинарам
1 Запись Введение инженер данных 01.11.23
2 Запись PostgreSQL, Схема данных, Slowly Changing Dimensions 08.11.23
3 Запись Ноутбук Источники данных в DWH 15.11.23
4 Запись Ноутбук Работа с данными в разных временных контекстах 22.11.23
5 Запись Ноутбук Асинхронные и сложные зависимости в данных 29.11.23
6 Запись Ноутбук Стриминг данных 06.12.23
7 Запись Ноутбук Оптимизация производительности 13.12.23

Записи консультаций

Формула оценивания

Оценка = 0.3*проект + 0.5*практические задания + 0.2*тесты

Домашние задания

  1. Нормальные формы и нормализация (см. слайды 1-й лекции) (дедлайн: 14.11.23 23.30)

Ссылка на anytask: https://anytask.org/course/1073

Инвайт: pAmU3Cl

Литература

  • Kimball, R. and M. Ross. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling (Second Edition), 2002
  • Inmon, W. H., Teradata, and Corporation. (2016). Building the Data Warehouse. John Wiley & Sons.
    Redman, T. C. (1996). Data Quality: The Field Guide. Digital Press.
  • "Медленно меняющееся измерение (SCD)"
  • Connelly, J. Asynchronous Data Dependencies in Distributed Systems. ACM Digital Library.
  • Ousterhout, J. A. (2013). A Philosophy of Software Design. Addison-Wesley.
  • Martin, R. C. (2017). Clean Architecture: A Craftsman's Guide to Software Structure and Design. Pearson Education.
  • Fowler, M. (2012). Patterns of Enterprise Application Architecture. Addison-Wesley.
  • Разработка эффективных алгоритмов и программ. Вильямс.
  • Gamma, E., Helm, R., Johnson, R., & Vlissides, J. (1994). Design Patterns: Elements of Reusable Object-Oriented Software. Addison-Wesley.
  • "SQL Performance Explained" by Markus Winand.
  • "High Performance MySQL" by Baron Schwartz, Peter Zaitsev, Vadim Tkachenko.
  • "Designing Data-Intensive Applications" by Martin Kleppmann.
  • "The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling" by Ralph Kimball and Margy Ross.
  • "Practical ETL Design: Building High-Performance Data Integration Systems" by Jordan Tigani and Christopher Jones.
  • Jay Kreps - "I Heart Logs: Event Data, Stream Processing, and Data Integration"
  • Nathan Marz, James Warren - "Big Data: Principles and best practices of scalable real-time data systems"
Источник — «http://wiki.cs.hse.ru/index.php?title=МОВС_Data_Engineering_(2023-24_уч._год,_6_модуль)&oldid=81431»