Обработка и анализ больших массивов данных-МОиВС-2022

О курсе

Преподаватели: Ахтямов Павел Ибрагимович, Космачев Алексей Дмитриевич

Coursera

Список всех недель на Курсере, по которым будет формироваться оценка (включая первую часть курса 4 модуля)

1. Bash - 1-й курс, 2-я неделя
2. Docker - 3-й курс, 1-я неделя
3. SQL + NoSQL - 1-й курс, 1-я неделя
4. HDFS + MapReduce - 1-й курс, 3-я неделя
5. Spark RDD + Spark SQL - 1-й курс, 4-я неделя
6. ML (Handcrafted + Spark) - 1-й курс, 5-я неделя
7. Flask - 3-й курс, 3-я неделя
8. Распределённое обучение нейросетей - 2-й курс, 5-я неделя
9. MLFlow - 3-й курс, 3-я неделя
10. LSH + NHSW - 3-й курс, 5-я неделя
11. Квантизация и дистилляция

Дедлайн - 19 мая, 20:59

Семинары

Занятия проводятся в Zoom: https://akht.pl/hse-big-data-2021-zoom

Все материалы занятий собраны в этом доке

Список ссылок на материалы с занятий:

• (25.11.2021) Презентация к занятию по Docker;
• (02.12.2021) Список NoSQL баз данных;
• (09.12.2021) Доска с занятия по HDFS, Документация по Java-классу Hadoop KeyFieldBasedPartitioner, GitLab-репозиторий с примерами кода;
• (16.12.2021) GitHub-репозиторий по Docker и Hadoop; код, написанный на занятии;
• (23.12.2021) Colab-ноутбук с занятия по Spark
• (25.01.2022) Colab-ноутбук с занятия по Vowpal Wabbit
• (24.03.2022) Презентация к занятию по распределённому обучению
• (31.03.2022) GitHub-репозиторий с MLFlow Docker
• (14.04.2022) Статья "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs", Hierarchical Navigable Small World на Wiki ИТМО, Статья о методах приближённого поиска ближайших соседей на Хабре
• (21.04.2022) Презентация по квантизации и дистилляции, Colab-ноутбук

Ссылки на видеозаписи занятий

Плейлист на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzBzVbEzagG4SwEA_8w82wYB

Папка в Облаке Мейл.ру: https://cloud.mail.ru/public/Sqf9/TE3g67UaM

Проект

Документ с описанием проекта: GoogleDoc

Домашние задания

Задание по Docker (не входит в оценку курса): GoogleDoc