Обработка и анализ больших массивов данных-МОиВС-2022 — различия между версиями
Материал из Wiki - Факультет компьютерных наук
(add links to materials) |
м (formating improvement) |
||
| (не показаны 3 промежуточные версии этого же участника) | |||
| Строка 4: | Строка 4: | ||
=== Coursera === | === Coursera === | ||
| + | Список всех недель на Курсере, по которым будет формироваться оценка (включая первую часть курса 4 модуля) | ||
| − | + | # '''Bash''' - 1-й курс, 2-я неделя | |
| + | # '''Docker''' - 3-й курс, 1-я неделя | ||
| + | # '''SQL + NoSQL''' - 1-й курс, 1-я неделя | ||
| + | # '''HDFS + MapReduce''' - 1-й курс, 3-я неделя | ||
| + | # '''Spark RDD + Spark SQL''' - 1-й курс, 4-я неделя | ||
| + | # '''ML (Handcrafted + Spark)''' - 1-й курс, 5-я неделя | ||
| + | # '''Flask''' - 3-й курс, 3-я неделя | ||
| + | # '''Распределённое обучение нейросетей''' - 2-й курс, 5-я неделя | ||
| + | # '''MLFlow''' - 3-й курс, 3-я неделя | ||
| + | # '''LSH + NHSW''' - 3-й курс, 5-я неделя | ||
| + | # '''Квантизация и дистилляция''' | ||
| + | '''Дедлайн''' - 19 мая, 20:59 | ||
=== Семинары === | === Семинары === | ||
| Строка 22: | Строка 34: | ||
* (24.03.2022) [https://docs.google.com/presentation/d/1kKngQBy0-Hcq7zKtYVbKM-emT7GvNmB6qgcBEhEAXIU/edit#slide=id.p Презентация к занятию по распределённому обучению] | * (24.03.2022) [https://docs.google.com/presentation/d/1kKngQBy0-Hcq7zKtYVbKM-emT7GvNmB6qgcBEhEAXIU/edit#slide=id.p Презентация к занятию по распределённому обучению] | ||
* (31.03.2022) [https://github.com/Toumash/mlflow-docker GitHub-репозиторий с MLFlow Docker] | * (31.03.2022) [https://github.com/Toumash/mlflow-docker GitHub-репозиторий с MLFlow Docker] | ||
| + | * (14.04.2022) [https://arxiv.org/pdf/1603.09320.pdf Статья "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs"], [https://neerc.ifmo.ru/wiki/index.php?title=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA_%D0%B1%D0%BB%D0%B8%D0%B6%D0%B0%D0%B9%D1%88%D0%B8%D1%85_%D1%81%D0%BE%D1%81%D0%B5%D0%B4%D0%B5%D0%B9_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_%D0%B8%D0%B5%D1%80%D0%B0%D1%80%D1%85%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BC%D0%B0%D0%BB%D0%B5%D0%BD%D1%8C%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BC%D0%B8%D1%80%D0%B0 Hierarchical Navigable Small World на Wiki ИТМО], [https://habr.com/ru/company/vk/blog/338360/ Статья о методах приближённого поиска ближайших соседей на Хабре] | ||
| + | * (21.04.2022) [https://docs.google.com/presentation/d/1DlZl20XFOMwbT3OEfBhNnYMXuSmz9G-QNL4wFY2MWJY/edit?usp=sharing Презентация по квантизации и дистилляции], [https://colab.research.google.com/drive/1bFcm4v93Gp4lwiCj7bV7rXC8Juax7leL?usp=sharing Colab-ноутбук] | ||
=== Ссылки на видеозаписи занятий === | === Ссылки на видеозаписи занятий === | ||
| Строка 37: | Строка 51: | ||
== Домашние задания == | == Домашние задания == | ||
| − | Задание по Docker: [https://akht.pl/tp2021-tech6 GoogleDoc] | + | Задание по Docker (''не входит в оценку курса''): [https://akht.pl/tp2021-tech6 GoogleDoc] |
Текущая версия на 16:03, 8 мая 2022
Содержание
О курсе
Преподаватели: Ахтямов Павел Ибрагимович, Космачев Алексей Дмитриевич
Coursera
Список всех недель на Курсере, по которым будет формироваться оценка (включая первую часть курса 4 модуля)
- Bash - 1-й курс, 2-я неделя
- Docker - 3-й курс, 1-я неделя
- SQL + NoSQL - 1-й курс, 1-я неделя
- HDFS + MapReduce - 1-й курс, 3-я неделя
- Spark RDD + Spark SQL - 1-й курс, 4-я неделя
- ML (Handcrafted + Spark) - 1-й курс, 5-я неделя
- Flask - 3-й курс, 3-я неделя
- Распределённое обучение нейросетей - 2-й курс, 5-я неделя
- MLFlow - 3-й курс, 3-я неделя
- LSH + NHSW - 3-й курс, 5-я неделя
- Квантизация и дистилляция
Дедлайн - 19 мая, 20:59
Семинары
Занятия проводятся в Zoom: https://akht.pl/hse-big-data-2021-zoom
Все материалы занятий собраны в этом доке
Список ссылок на материалы с занятий:
- (25.11.2021) Презентация к занятию по Docker;
- (02.12.2021) Список NoSQL баз данных;
- (09.12.2021) Доска с занятия по HDFS, Документация по Java-классу Hadoop KeyFieldBasedPartitioner, GitLab-репозиторий с примерами кода;
- (16.12.2021) GitHub-репозиторий по Docker и Hadoop; код, написанный на занятии;
- (23.12.2021) Colab-ноутбук с занятия по Spark
- (25.01.2022) Colab-ноутбук с занятия по Vowpal Wabbit
- (24.03.2022) Презентация к занятию по распределённому обучению
- (31.03.2022) GitHub-репозиторий с MLFlow Docker
- (14.04.2022) Статья "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs", Hierarchical Navigable Small World на Wiki ИТМО, Статья о методах приближённого поиска ближайших соседей на Хабре
- (21.04.2022) Презентация по квантизации и дистилляции, Colab-ноутбук
Ссылки на видеозаписи занятий
Плейлист на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzBzVbEzagG4SwEA_8w82wYB
Папка в Облаке Мейл.ру: https://cloud.mail.ru/public/Sqf9/TE3g67UaM
Правила выставления оценок
Проект
Документ с описанием проекта: GoogleDoc
Домашние задания
Задание по Docker (не входит в оценку курса): GoogleDoc
