Обработка и анализ больших массивов данных-МОиВС-2022 — различия между версиями
Материал из Wiki - Факультет компьютерных наук
м (add some links) |
м (formating improvement) |
||
(не показаны 4 промежуточные версии этого же участника) | |||
Строка 3: | Строка 3: | ||
'''Преподаватели:''' Ахтямов Павел Ибрагимович, Космачев Алексей Дмитриевич | '''Преподаватели:''' Ахтямов Павел Ибрагимович, Космачев Алексей Дмитриевич | ||
+ | === Coursera === | ||
+ | Список всех недель на Курсере, по которым будет формироваться оценка (включая первую часть курса 4 модуля) | ||
+ | |||
+ | # '''Bash''' - 1-й курс, 2-я неделя | ||
+ | # '''Docker''' - 3-й курс, 1-я неделя | ||
+ | # '''SQL + NoSQL''' - 1-й курс, 1-я неделя | ||
+ | # '''HDFS + MapReduce''' - 1-й курс, 3-я неделя | ||
+ | # '''Spark RDD + Spark SQL''' - 1-й курс, 4-я неделя | ||
+ | # '''ML (Handcrafted + Spark)''' - 1-й курс, 5-я неделя | ||
+ | # '''Flask''' - 3-й курс, 3-я неделя | ||
+ | # '''Распределённое обучение нейросетей''' - 2-й курс, 5-я неделя | ||
+ | # '''MLFlow''' - 3-й курс, 3-я неделя | ||
+ | # '''LSH + NHSW''' - 3-й курс, 5-я неделя | ||
+ | # '''Квантизация и дистилляция''' | ||
+ | '''Дедлайн''' - 19 мая, 20:59 | ||
=== Семинары === | === Семинары === | ||
Строка 8: | Строка 23: | ||
Занятия проводятся в Zoom: https://akht.pl/hse-big-data-2021-zoom | Занятия проводятся в Zoom: https://akht.pl/hse-big-data-2021-zoom | ||
− | Все материалы занятий | + | Все материалы занятий собраны в [https://cloud.mail.ru/public/sbbP/WrfrK78cM этом доке] |
+ | |||
+ | Список ссылок на материалы с занятий: | ||
+ | * (25.11.2021) [https://docs.google.com/presentation/d/1Hz7WUOFMt3nkRbh6_vnHWHBOunKv7Hmc6R41N57uTCw/edit?usp=sharing Презентация к занятию по Docker]; | ||
+ | * (02.12.2021) [https://hostingdata.co.uk/nosql-database/ Список NoSQL баз данных]; | ||
+ | * (09.12.2021) [https://miro.com/app/board/uXjVOcfDLnM=/?invite_link_id=411054836540 Доска с занятия по HDFS], [https://hadoop.apache.org/docs/r2.4.1/api/org/apache/hadoop/mapred/lib/KeyFieldBasedPartitioner.html Документация по Java-классу Hadoop KeyFieldBasedPartitioner], [https://gitlab.com/fpmi-atp/pd2021-supplementary/global/-/tree/master/materials GitLab-репозиторий с примерами кода]; | ||
+ | * (16.12.2021) [https://github.com/big-data-europe/docker-hadoop GitHub-репозиторий по Docker и Hadoop]; [https://cloud.mail.ru/public/6kFX/L6TE5bZ6g код, написанный на занятии]; | ||
+ | * (23.12.2021) [https://colab.research.google.com/drive/1rjbp7LJav9D84RNGeB81-ShDffFEUjPu?usp=sharing Colab-ноутбук с занятия по Spark] | ||
+ | * (25.01.2022) [https://colab.research.google.com/drive/1ijQ-g8J5wVX6XQk3n36tFLqTKWnFuW3C?usp=sharing Colab-ноутбук с занятия по Vowpal Wabbit] | ||
+ | * (24.03.2022) [https://docs.google.com/presentation/d/1kKngQBy0-Hcq7zKtYVbKM-emT7GvNmB6qgcBEhEAXIU/edit#slide=id.p Презентация к занятию по распределённому обучению] | ||
+ | * (31.03.2022) [https://github.com/Toumash/mlflow-docker GitHub-репозиторий с MLFlow Docker] | ||
+ | * (14.04.2022) [https://arxiv.org/pdf/1603.09320.pdf Статья "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs"], [https://neerc.ifmo.ru/wiki/index.php?title=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA_%D0%B1%D0%BB%D0%B8%D0%B6%D0%B0%D0%B9%D1%88%D0%B8%D1%85_%D1%81%D0%BE%D1%81%D0%B5%D0%B4%D0%B5%D0%B9_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_%D0%B8%D0%B5%D1%80%D0%B0%D1%80%D1%85%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BC%D0%B0%D0%BB%D0%B5%D0%BD%D1%8C%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BC%D0%B8%D1%80%D0%B0 Hierarchical Navigable Small World на Wiki ИТМО], [https://habr.com/ru/company/vk/blog/338360/ Статья о методах приближённого поиска ближайших соседей на Хабре] | ||
+ | * (21.04.2022) [https://docs.google.com/presentation/d/1DlZl20XFOMwbT3OEfBhNnYMXuSmz9G-QNL4wFY2MWJY/edit?usp=sharing Презентация по квантизации и дистилляции], [https://colab.research.google.com/drive/1bFcm4v93Gp4lwiCj7bV7rXC8Juax7leL?usp=sharing Colab-ноутбук] | ||
=== Ссылки на видеозаписи занятий === | === Ссылки на видеозаписи занятий === | ||
Строка 19: | Строка 46: | ||
− | == | + | == Проект == |
− | + | Документ с описанием проекта: [https://docs.google.com/document/d/1MKaEhZRGMomtckafjk7jxWAxE1JbO5m8RZ_AjxsOKrE/edit GoogleDoc] | |
== Домашние задания == | == Домашние задания == | ||
+ | Задание по Docker (''не входит в оценку курса''): [https://akht.pl/tp2021-tech6 GoogleDoc] |
Текущая версия на 16:03, 8 мая 2022
Содержание
О курсе
Преподаватели: Ахтямов Павел Ибрагимович, Космачев Алексей Дмитриевич
Coursera
Список всех недель на Курсере, по которым будет формироваться оценка (включая первую часть курса 4 модуля)
- Bash - 1-й курс, 2-я неделя
- Docker - 3-й курс, 1-я неделя
- SQL + NoSQL - 1-й курс, 1-я неделя
- HDFS + MapReduce - 1-й курс, 3-я неделя
- Spark RDD + Spark SQL - 1-й курс, 4-я неделя
- ML (Handcrafted + Spark) - 1-й курс, 5-я неделя
- Flask - 3-й курс, 3-я неделя
- Распределённое обучение нейросетей - 2-й курс, 5-я неделя
- MLFlow - 3-й курс, 3-я неделя
- LSH + NHSW - 3-й курс, 5-я неделя
- Квантизация и дистилляция
Дедлайн - 19 мая, 20:59
Семинары
Занятия проводятся в Zoom: https://akht.pl/hse-big-data-2021-zoom
Все материалы занятий собраны в этом доке
Список ссылок на материалы с занятий:
- (25.11.2021) Презентация к занятию по Docker;
- (02.12.2021) Список NoSQL баз данных;
- (09.12.2021) Доска с занятия по HDFS, Документация по Java-классу Hadoop KeyFieldBasedPartitioner, GitLab-репозиторий с примерами кода;
- (16.12.2021) GitHub-репозиторий по Docker и Hadoop; код, написанный на занятии;
- (23.12.2021) Colab-ноутбук с занятия по Spark
- (25.01.2022) Colab-ноутбук с занятия по Vowpal Wabbit
- (24.03.2022) Презентация к занятию по распределённому обучению
- (31.03.2022) GitHub-репозиторий с MLFlow Docker
- (14.04.2022) Статья "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs", Hierarchical Navigable Small World на Wiki ИТМО, Статья о методах приближённого поиска ближайших соседей на Хабре
- (21.04.2022) Презентация по квантизации и дистилляции, Colab-ноутбук
Ссылки на видеозаписи занятий
Плейлист на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzBzVbEzagG4SwEA_8w82wYB
Папка в Облаке Мейл.ру: https://cloud.mail.ru/public/Sqf9/TE3g67UaM
Правила выставления оценок
Проект
Документ с описанием проекта: GoogleDoc
Домашние задания
Задание по Docker (не входит в оценку курса): GoogleDoc