Data Engineering 24/25 (МОВС23) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
м (Добавлены ссылки на записи лекций, чаты в телеграм) |
|||
| Строка 1: | Строка 1: | ||
==О курсе== | ==О курсе== | ||
| − | + | Занятия проводятся в Zoom '''по вторникам в 19:40 - 21:00''' | |
| − | Занятия проводятся в | + | |
| − | + | ||
| − | + | ||
==Контакты== | ==Контакты== | ||
| − | Канал курса в TG: | + | Канал курса в TG: [https://t.me/2450467210/3 channel] |
| − | Чат курса в TG: | + | Чат курса в TG: [https://t.me/2450467210/1 chat] |
Преподаватель: 1) Сайков Александр 2) Анатолий Бардуков | Преподаватель: 1) Сайков Александр 2) Анатолий Бардуков | ||
| Строка 17: | Строка 14: | ||
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам | ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''1''' [Запись] || [https://docs.google.com/presentation/d/1m-V4EHdipnWpj3YCvNedPspEYSYQA1kT/edit?usp=sharing&ouid=117622678388551209202&rtpof=true&sd=true Введение инженер данных] || | + | | style="background:#eaecf0;" | '''1''' [https://vk.com/video/playlist/-227011779_14?z=video-227011779_456239135%2Fclub227011779%2Fpl_-227011779_14 Запись] || [https://docs.google.com/presentation/d/1m-V4EHdipnWpj3YCvNedPspEYSYQA1kT/edit?usp=sharing&ouid=117622678388551209202&rtpof=true&sd=true Введение инженер данных] || 06.11.2024 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''2''' [Запись] || [PostgreSQL, Схема данных, Slowly Changing Dimensions] ||12.11.2024 || | + | | style="background:#eaecf0;" | '''2''' [https://vk.com/video/playlist/-227011779_14?z=video-227011779_456239144%2Fclub227011779%2Fpl_-227011779_14 Запись] || [PostgreSQL, Схема данных, Slowly Changing Dimensions] ||12.11.2024 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''3''' [Запись] || | + | | style="background:#eaecf0;" | '''3''' [Запись] || Агрегатные функции, SCD || 23.11.2024 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''4''' [Запись] || | + | | style="background:#eaecf0;" | '''4''' [Запись] || Регулярные выражения || 26.11.2024 || |
|- | |- | ||
| − | | style="background:#eaecf0;" | '''5''' [Запись] || | + | | style="background:#eaecf0;" | '''5''' [Запись] || Оптимизация запросов и CDC || 03.12.2024 || |
|- | |- | ||
| style="background:#eaecf0;" | '''6''' [Запись] || Пример ETL процесса || 10.12.2024 || | | style="background:#eaecf0;" | '''6''' [Запись] || Пример ETL процесса || 10.12.2024 || | ||
|- | |- | ||
| − | | style="background:#eaecf0;" | '''7''' | + | | style="background:#eaecf0;" | '''7''' [Запись] || Оптимизация производительности || 17.12.2024 || |
|- | |- | ||
|} | |} | ||
=== Записи консультаций === | === Записи консультаций === | ||
| + | (Если они будут) | ||
==Формула оценивания== | ==Формула оценивания== | ||
| + | Запланированы 3 дз (2 дз на 1 неделю, проект на 2 недели), тесты к каждой неделе курса | ||
| − | Оценка = '''0.3'''*проект + '''0.5'''*практические задания + '''0.2'''*тесты | + | '''Оценка''' = '''0.3'''*проект + '''0.5'''*практические задания + '''0.2'''*тесты |
'''UPD1:''' начиная со второго домашнего задания, снимаем 1 балл раз в три дня за сдачу после deadline, но ниже 4 не снимаем. | '''UPD1:''' начиная со второго домашнего задания, снимаем 1 балл раз в три дня за сдачу после deadline, но ниже 4 не снимаем. | ||
| Строка 43: | Строка 42: | ||
'''UPD2:''' начиная с 3 ДЗ снимаем до 1 балла за неаккуратное оформление кода (не следует общеизвестным sql style guides) | '''UPD2:''' начиная с 3 ДЗ снимаем до 1 балла за неаккуратное оформление кода (не следует общеизвестным sql style guides) | ||
== Домашние задания == | == Домашние задания == | ||
| − | |||
# | # | ||
# | # | ||
Версия 12:37, 24 ноября 2024
Содержание
О курсе
Занятия проводятся в Zoom по вторникам в 19:40 - 21:00
Контакты
Канал курса в TG: channel
Чат курса в TG: chat
Преподаватель: 1) Сайков Александр 2) Анатолий Бардуков
| Занятие | Тема | Дата | Материалы для самоподготовки к семинарам |
|---|---|---|---|
| 1 Запись | Введение инженер данных | 06.11.2024 | |
| 2 Запись | [PostgreSQL, Схема данных, Slowly Changing Dimensions] | 12.11.2024 | |
| 3 [Запись] | Агрегатные функции, SCD | 23.11.2024 | |
| 4 [Запись] | Регулярные выражения | 26.11.2024 | |
| 5 [Запись] | Оптимизация запросов и CDC | 03.12.2024 | |
| 6 [Запись] | Пример ETL процесса | 10.12.2024 | |
| 7 [Запись] | Оптимизация производительности | 17.12.2024 |
Записи консультаций
(Если они будут)
Формула оценивания
Запланированы 3 дз (2 дз на 1 неделю, проект на 2 недели), тесты к каждой неделе курса
Оценка = 0.3*проект + 0.5*практические задания + 0.2*тесты
UPD1: начиная со второго домашнего задания, снимаем 1 балл раз в три дня за сдачу после deadline, но ниже 4 не снимаем.
UPD2: начиная с 3 ДЗ снимаем до 1 балла за неаккуратное оформление кода (не следует общеизвестным sql style guides)
Домашние задания
Литература
- Kimball, R. and M. Ross. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling (Second Edition), 2002
- Inmon, W. H., Teradata, and Corporation. (2016). Building the Data Warehouse. John Wiley & Sons.
Redman, T. C. (1996). Data Quality: The Field Guide. Digital Press. - "Медленно меняющееся измерение (SCD)"
- Connelly, J. Asynchronous Data Dependencies in Distributed Systems. ACM Digital Library.
Ousterhout, J. A. (2013). A Philosophy of Software Design. Addison-Wesley.
Martin, R. C. (2017). Clean Architecture: A Craftsman's Guide to Software Structure and Design. Pearson Education.
Fowler, M. (2012). Patterns of Enterprise Application Architecture. Addison-Wesley.
Смит, М., & Дэвидсон, Р. (2015). Разработка эффективных алгоритмов и программ. Вильямс.
Gamma, E., Helm, R., Johnson, R., & Vlissides, J. (1994). Design Patterns: Elements of Reusable Object-Oriented Software. Addison-Wesley. - "SQL Performance Explained" by Markus Winand.
"High Performance MySQL" by Baron Schwartz, Peter Zaitsev, Vadim Tkachenko.
"Designing Data-Intensive Applications" by Martin Kleppmann.
"The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling" by Ralph Kimball and Margy Ross.
"Practical ETL Design: Building High-Performance Data Integration Systems" by Jordan Tigani and Christopher Jones.
...
- Jay Kreps - "I Heart Logs: Event Data, Stream Processing, and Data Integration"
Nathan Marz, James Warren - "Big Data: Principles and best practices of scalable real-time data systems"
