МОВС Обработка и анализ больших массивов данных, BigData (ММОВС22, 5-6 модули) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
м (add Zoom link) |
м (add syllabus) |
||
Строка 27: | Строка 27: | ||
! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы | ! Занятие !! Тема !! Дата !! Материалы для самоподготовки к семинарам !! Дополнительные материалы | ||
|- | |- | ||
− | | style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] | + | | style="background:#eaecf0;" | '''1''' [[ Запись]] || [[ Ноутбук]] Вводная: что есть бигдата, что будет на курсе || 04.09.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] || 11.09.23 || || | + | | style="background:#eaecf0;" | '''2''' [[ Запись]] || [[ Ноутбук]] HDFS: принципы и основы. Основные компоненты Hadoop || 11.09.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] || | + | | style="background:#eaecf0;" | '''3''' [[ Запись]] || [[ Ноутбук]] MapReduce over Python: Азы || 14.09.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] || | + | | style="background:#eaecf0;" | '''4''' [[ Запись]] || [[ Ноутбук]] MapReduce over Python: Join / Group By || 18.09.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] || | + | | style="background:#eaecf0;" | '''5''' [[ Запись]] || [[ Ноутбук]] Hive || 25.09.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] || | + | | style="background:#eaecf0;" | '''6''' [[ Запись]] || [[ Ноутбук]] YARN|| 28.09.23 || || |
|- | |- | ||
− | | style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] || 16.10.23 || || | + | | style="background:#eaecf0;" | '''7''' [[ Запись]] || [[ Ноутбук]] Parquet/ORC колоночный формат|| 02.10.23 || || |
+ | |- | ||
+ | | style="background:#eaecf0;" | '''8''' [[ Запись]] || [[ Ноутбук]] Spark Batch + Zeppelin || 09.10.23 || || | ||
+ | |- | ||
+ | | style="background:#eaecf0;" | '''9''' [[ Запись]] || [[ Ноутбук]] Green Plum || 12.10.23 || || | ||
+ | |- | ||
+ | | style="background:#eaecf0;" | '''10''' [[ Запись]] || [[ Ноутбук]] BI || 16.10.23 || || | ||
|- | |- | ||
| Конец пятого модуля | | | Конец пятого модуля | | ||
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''11''' [[ Запись]] || [[ Ноутбук]] AirFlow || || || |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''12''' [[ Запись]] || [[ Ноутбук]] ClickHouse || || || |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''13''' [[ Запись]] || [[ Ноутбук]] Kafka || || || |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''14''' [[ Запись]] || [[ Ноутбук]] SparkStreaming || || || |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''15''' [[ Запись]] || [[ Ноутбук]] Логические архитектуры таблиц || || || |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''16''' [[ Запись]] || [[ Ноутбук]] DQ + DataLineage, DWH over S3 || || || |
|- | |- | ||
− | | style="background:#eaecf0;" | ''' | + | | style="background:#eaecf0;" | '''17''' [[ Запись]] || [[ Ноутбук]] Консультация || || || |
+ | |- | ||
+ | | style="background:#eaecf0;" | '''18''' [[ Запись]] || [[ Ноутбук]] Экзамен || || || | ||
+ | |- | ||
+ | | style="background:#eaecf0;" | '''19''' [[ Запись]] || [[ Ноутбук]] Защиты проектов || || || | ||
+ | |- | ||
+ | | style="background:#eaecf0;" | '''20''' [[ Запись]] || [[ Ноутбук]] Защиты проектов || || || | ||
|- | |- | ||
|} | |} | ||
=== Записи консультаций === | === Записи консультаций === | ||
− | |||
==Формула оценивания== | ==Формула оценивания== |
Версия 12:02, 31 августа 2023
Содержание
О курсе
Занятия проводятся в Zoom по понедельникам в 19:40. Семинары по проектной части курса - в некоторые четверги также в 19:40
Контакты
Чат курса в TG:
Преподаватель: Максим Стаценко
Ассистент | Telegram |
---|---|
Андрей | @mr_dyadyunov |
Материалы курса
Ссылка на плейлист курса на YouTube: YouTube-playlist
Ссылка на GitHub с материалами курса: GitHub repository
Занятие | Тема | Дата | Материалы для самоподготовки к семинарам | Дополнительные материалы |
---|---|---|---|---|
1 Запись | Ноутбук Вводная: что есть бигдата, что будет на курсе | 04.09.23 | ||
2 Запись | Ноутбук HDFS: принципы и основы. Основные компоненты Hadoop | 11.09.23 | ||
3 Запись | Ноутбук MapReduce over Python: Азы | 14.09.23 | ||
4 Запись | Ноутбук MapReduce over Python: Join / Group By | 18.09.23 | ||
5 Запись | Ноутбук Hive | 25.09.23 | ||
6 Запись | Ноутбук YARN | 28.09.23 | ||
7 Запись | Ноутбук Parquet/ORC колоночный формат | 02.10.23 | ||
8 Запись | Ноутбук Spark Batch + Zeppelin | 09.10.23 | ||
9 Запись | Ноутбук Green Plum | 12.10.23 | ||
10 Запись | Ноутбук BI | 16.10.23 | ||
11 Запись | Ноутбук AirFlow | |||
12 Запись | Ноутбук ClickHouse | |||
13 Запись | Ноутбук Kafka | |||
14 Запись | Ноутбук SparkStreaming | |||
15 Запись | Ноутбук Логические архитектуры таблиц | |||
16 Запись | Ноутбук DQ + DataLineage, DWH over S3 | |||
17 Запись | Ноутбук Консультация | |||
18 Запись | Ноутбук Экзамен | |||
19 Запись | Ноутбук Защиты проектов | |||
20 Запись | Ноутбук Защиты проектов |
Записи консультаций
Формула оценивания
Оценка = ...<вес 1>...*О...<форма контроля 1>... + ...<вес 2>...*О...<форма контроля 2>... + ...<вес 3>...*О...<форма контроля 3>...
Домашние задания
Литература
- «Hadoop: The Definitive Guide», Tom White
- «Spark для профессионалов», Сэнди Риза, Ури Лезерсон, Шон Оуэн и Джош Уиллс
- Та самая "книжка с кабанчиком" «Designing Data-Intensive Applications» by Martin Kleppman
- «Big Data: Principles and Best Practices Of Scalable Real-Time Data Systems» by Nathan Marz and James Warren