МОВС Обработка и анализ больших массивов данных, BigData (ММОВС22, 5-6 модули)

О курсе

Занятия проводятся в Zoom по понедельникам в 19:40. Семинары по проектной части курса - в некоторые четверги также в 19:40

Контакты

Чат курса в TG: https://t.me/+jjXJ4m1O8shiNTcy

Преподаватель: Максим Стаценко

Ассистент	Telegram
Андрей	@mr_dyadyunov

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub repository

Занятие	Тема	Дата	Материалы для самоподготовки к семинарам	Дополнительные материалы
1 Запись	Ноутбук Вводная: что есть бигдата, что будет на курсе	04.09.23
2 Запись	Ноутбук HDFS: принципы и основы. Основные компоненты Hadoop	11.09.23
3 Запись	Ноутбук MapReduce over Python: Азы	14.09.23
4 Запись	Ноутбук MapReduce over Python: Join / Group By	18.09.23
5 Запись	Ноутбук Hive	25.09.23
6 Запись	Ноутбук YARN	28.09.23
7 Запись	Ноутбук Parquet/ORC колоночный формат	02.10.23
8 Запись	Ноутбук Spark Batch + Zeppelin	09.10.23
9 Запись	Ноутбук Green Plum	12.10.23
10 Запись	Ноутбук BI	16.10.23
11 Запись	Ноутбук AirFlow
12 Запись	Ноутбук ClickHouse
13 Запись	Ноутбук Kafka
14 Запись	Ноутбук SparkStreaming
15 Запись	Ноутбук Логические архитектуры таблиц
16 Запись	Ноутбук DQ + DataLineage, DWH over S3
17 Запись	Ноутбук Консультация
18 Запись	Ноутбук Экзамен
19 Запись	Ноутбук Защиты проектов
20 Запись	Ноутбук Защиты проектов

Формула оценивания

Оценка = ...<вес 1>...*О_{...<форма контроля 1>...} + ...<вес 2>...*О_{...<форма контроля 2>...} + ...<вес 3>...*О_{...<форма контроля 3>...}

Домашние задания

Инвайт в Anytask: JWlwe2m

Литература

• «Hadoop: The Definitive Guide», Tom White
• «Spark для профессионалов», Сэнди Риза, Ури Лезерсон, Шон Оуэн и Джош Уиллс
• Та самая "книжка с кабанчиком" «Designing Data-Intensive Applications» by Martin Kleppman
• «Big Data: Principles and Best Practices Of Scalable Real-Time Data Systems» by Nathan Marz and James Warren