Методы и системы обработки больших данных (осень 2018) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
(→Домашние задания) |
|||
| Строка 42: | Строка 42: | ||
{| class="wikitable" | {| class="wikitable" | ||
| − | ! '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка''' | + | ! '''Задание''' | '''Тип задания''' !! '''Тема''' !! '''Дата выдачи''' !! '''Дедлайн''' !! '''Количество баллов''' !! '''Ссылка''' |
|- | |- | ||
| − | | Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1 | + | | 1 || Тест || HDFS || 13.09 || 19.09 23:59 || 5 || http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1 |
|- | |- | ||
| − | | Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1 | + | | 1 || Практическое задание || HDFS || 06.09 || 19.09 23:59 || 100 || http://rebrand.ly/big_data_hse_fall_2018_hw_1 |
|- | |- | ||
|} | |} | ||
| − | |||
==Материалы== | ==Материалы== | ||
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials | 1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials | ||
2. | 2. | ||
Версия 11:12, 13 сентября 2018
Лектор: Алексей Драль
Семинаристы: Павел Ахтямов, Артем Козлов
Контакты: по всем организационным вопросам просьба писать на почту big_data_hse_fall_2018@bigdatateam.org.
У курса есть чат в Telegram. Объявления по курсу вывешиваются в чате!
Содержание
Отчетность по курсу и критерии оценивания
В курсе предусмотрены следующие отчетные мероприятия:
- тест на проверку знаний по материалам лекции и семинара (5 баллов за каждый тест) (13 недель)
- практическое домашнее задание (50 баллов x (количество недель на задание) за каждое домашнее задание) (13 недель)
Итоговая оценка складывается следующим образом:
Score = (HW_Score + Test_Score) / 50, где
- HW_Score - суммарное количество баллов за домашние задания;
- Test_Score - суммарное количество баллов за тесты.
Таблица с оценками доступна по ссылке: https://rebrand.ly/big_data_hse_fall_2018_grades
Программа занятий
| Неделя | Дата | Название | Материалы |
|---|---|---|---|
| 1 | 06.09 | Лекция: Понятие "большие данные". Постановка задачи обработки и хранения больших. Примеры применения больших данных в IT индустрии. Основные проблемы в работе распределенных систем. Виды отказов узлов, связей между узлами. Устройство GFS, HDFS. Процесс восстановления HDFS. | презентация |
| 1 | 06.09 | Семинар: Устройство HDFS кластера. HDFS CLI (интерфейс командной строки HDFS). Пользовательский интерфейс NameNode. Решение задач на вычисление объемов вычислительных ресурсов кластера. | |
| 2 | 20.09 | Лекция: MapReduce. Операции Map, Reduce. Distributed Shell как пример MapReduce задачи. Формальная модель парадигмы MapReduce. Задача подсчета слов в датасете (Word Count) Обеспечение отказоустойчивости в MapReduce. Сравнение MapReduce v1 и YARN. История развития MapReduce. MapReduce Streaming на примере Python. | |
| 2 | 20.09 | Семинар: Решение задач MapReduce Streaming: подсчет количества слов, стоп-слов в Википедии, парсинг логов Apache. Distributed Cache. Метод Монте-Карло и большие данные. |
Домашние задания
| Тип задания | Тема | Дата выдачи | Дедлайн | Количество баллов | Ссылка | |
|---|---|---|---|---|---|---|
| 1 | Тест | HDFS | 13.09 | 19.09 23:59 | 5 | http://rebrand.ly/big_data_hse_fall_2018_quiz_1_Urgz1 |
| 1 | Практическое задание | HDFS | 06.09 | 19.09 23:59 | 100 | http://rebrand.ly/big_data_hse_fall_2018_hw_1 |
Материалы
1. Полные материалы лекций, семинаров и домашних заданий доступны по ссылке: http://rebrand.ly/big_data_hse_fall_2018_materials 2.
