МОВС Обработка и анализ больших массивов данных, BigData (ММОВС22, 5-6 модули) — различия между версиями

Версия 08:51, 15 ноября 2023

О курсе

На нашем курсе мы поговорим про то, что такое большие данные, где хранить их, как их обрабатывать, как можно с ними работать и как давать доступ к данным другим людям.
Так как наш курс длится всего два модуля, а тема бигдаты настолько широка, что для ее глубокого изучения не хватит и двух лет, то мы разберем только самый необходимый теоретический минимум, а остальное время посвятим принципам работы популярных инструментов.

Занятия проводятся в Zoom по понедельникам в 19:40. Семинары по проектной части курса - в некоторые четверги также в 19:40

Контакты

Чат курса в TG: https://t.me/+jjXJ4m1O8shiNTcy

Преподаватель: Максим Стаценко

Материалы курса

Ссылка на плейлист курса на YouTube: YouTube-playlist

Ссылка на GitHub с материалами курса: GitHub repository

Яндекс.Диск с материалами курса: https://disk.yandex.ru/d/9QZ_6UIZvwvzhg

Записи консультаций

Формула оценивания

Оценка = 0.3*О_Проект + 0.7*О_ДЗ

Домашние задания

Инвайт в Anytask: JWlwe2m

1. Контест "Map & Reduce", Дедлайн: 08.10 (Вс), 23:59 GMT+3
2. Контест "MapReduce Python", Дедлайн: 15.10 (Вс), 23:59 GMT+3
3. Контест "Hive", Дедлайн: 23.10 (Пон.), 23:59 GMT+3
4. Контест "ClickHouse", Дедлайн: 12.11 (Вс.), 23:59 GMT+3

Проект

Результат проекта: имеющая практический смысл система, которая:

• производит регулярную загрузку данных в хранилище;
• обрабатывает эти данные в хранилище;
• имеет какой-то интерфейс к обработанным данным.

+ Документация к системе, в которой описаны:

• компоненты системы;
• причины использования тех или иных решений;
• назначение системы.

На этапе приёмки проекта будут проверяться и оцениваться:

1. практическая полезность (лучше согласовать с преподавателем и договориться заранее) и работоспособность системы [0 - 3 балла]
2. наличие регулярной загрузки новых данных в хранилище (Apache Spark Streaming // AirFlow) [0 - 2 балла]
3. наличие регулярной обработки данных после их загрузки (AirFlow) [0 - 3 балла]
4. наличие UI (web-интерфейс // Telegram Bot // дашборд в DataLens) [0 - 2 балла]

Литература

• «Hadoop: The Definitive Guide», Tom White
• «Spark для профессионалов», Сэнди Риза, Ури Лезерсон, Шон Оуэн и Джош Уиллс
• Та самая "книжка с кабанчиком" «Designing Data-Intensive Applications» by Martin Kleppman
• «Big Data: Principles and Best Practices Of Scalable Real-Time Data Systems» by Nathan Marz and James Warren