Обработка и анализ больших массивов данных-МОиВС-2022 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(create page blueprint)
 
м (formating improvement)
 
(не показано 5 промежуточных версии этого же участника)
Строка 1: Строка 1:
 
== О курсе ==
 
== О курсе ==
  
−
'''Преподаватели:'''
+
'''Преподаватели:''' Ахтямов Павел Ибрагимович, Космачев Алексей Дмитриевич
  
 +
=== Coursera ===
 +
Список всех недель на Курсере, по которым будет формироваться оценка (включая первую часть курса 4 модуля)
 +
 +
# '''Bash''' - 1-й курс, 2-я неделя
 +
# '''Docker''' - 3-й курс, 1-я неделя
 +
# '''SQL + NoSQL''' - 1-й курс, 1-я неделя
 +
# '''HDFS + MapReduce''' - 1-й курс, 3-я неделя
 +
# '''Spark RDD + Spark SQL''' - 1-й курс, 4-я неделя
 +
# '''ML (Handcrafted + Spark)''' - 1-й курс, 5-я неделя
 +
# '''Flask''' - 3-й курс, 3-я неделя
 +
# '''Распределённое обучение нейросетей''' - 2-й курс, 5-я неделя
 +
# '''MLFlow''' - 3-й курс, 3-я неделя
 +
# '''LSH + NHSW''' - 3-й курс, 5-я неделя
 +
# '''Квантизация и дистилляция'''
 +
'''Дедлайн''' - 19 мая, 20:59
  
 
=== Семинары ===
 
=== Семинары ===
  
−
Занятия проводятся в Zoom
+
Занятия проводятся в Zoom: https://akht.pl/hse-big-data-2021-zoom
  
−
Все материалы занятий находятся здесь:  
+
Все материалы занятий собраны в [https://cloud.mail.ru/public/sbbP/WrfrK78cM этом доке]
 +
 
 +
Список ссылок на материалы с занятий:
 +
* (25.11.2021) [https://docs.google.com/presentation/d/1Hz7WUOFMt3nkRbh6_vnHWHBOunKv7Hmc6R41N57uTCw/edit?usp=sharing Презентация к занятию по Docker];
 +
* (02.12.2021) [https://hostingdata.co.uk/nosql-database/ Список NoSQL баз данных];
 +
* (09.12.2021) [https://miro.com/app/board/uXjVOcfDLnM=/?invite_link_id=411054836540 Доска с занятия по HDFS], [https://hadoop.apache.org/docs/r2.4.1/api/org/apache/hadoop/mapred/lib/KeyFieldBasedPartitioner.html Документация по Java-классу Hadoop KeyFieldBasedPartitioner], [https://gitlab.com/fpmi-atp/pd2021-supplementary/global/-/tree/master/materials GitLab-репозиторий с примерами кода];
 +
* (16.12.2021) [https://github.com/big-data-europe/docker-hadoop GitHub-репозиторий по Docker и Hadoop]; [https://cloud.mail.ru/public/6kFX/L6TE5bZ6g код, написанный на занятии];
 +
* (23.12.2021) [https://colab.research.google.com/drive/1rjbp7LJav9D84RNGeB81-ShDffFEUjPu?usp=sharing Colab-ноутбук с занятия по Spark]
 +
* (25.01.2022) [https://colab.research.google.com/drive/1ijQ-g8J5wVX6XQk3n36tFLqTKWnFuW3C?usp=sharing Colab-ноутбук с занятия по Vowpal Wabbit]
 +
* (24.03.2022) [https://docs.google.com/presentation/d/1kKngQBy0-Hcq7zKtYVbKM-emT7GvNmB6qgcBEhEAXIU/edit#slide=id.p Презентация к занятию по распределённому обучению]
 +
* (31.03.2022) [https://github.com/Toumash/mlflow-docker GitHub-репозиторий с MLFlow Docker]
 +
* (14.04.2022) [https://arxiv.org/pdf/1603.09320.pdf Статья "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs"], [https://neerc.ifmo.ru/wiki/index.php?title=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA_%D0%B1%D0%BB%D0%B8%D0%B6%D0%B0%D0%B9%D1%88%D0%B8%D1%85_%D1%81%D0%BE%D1%81%D0%B5%D0%B4%D0%B5%D0%B9_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_%D0%B8%D0%B5%D1%80%D0%B0%D1%80%D1%85%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BC%D0%B0%D0%BB%D0%B5%D0%BD%D1%8C%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BC%D0%B8%D1%80%D0%B0 Hierarchical Navigable Small World на Wiki ИТМО], [https://habr.com/ru/company/vk/blog/338360/ Статья о методах приближённого поиска ближайших соседей на Хабре]
 +
* (21.04.2022) [https://docs.google.com/presentation/d/1DlZl20XFOMwbT3OEfBhNnYMXuSmz9G-QNL4wFY2MWJY/edit?usp=sharing Презентация по квантизации и дистилляции], [https://colab.research.google.com/drive/1bFcm4v93Gp4lwiCj7bV7rXC8Juax7leL?usp=sharing Colab-ноутбук]
  
 
=== Ссылки на видеозаписи занятий ===
 
=== Ссылки на видеозаписи занятий ===
  
 +
Плейлист на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzBzVbEzagG4SwEA_8w82wYB
  
−
 
+
Папка в Облаке Мейл.ру: https://cloud.mail.ru/public/Sqf9/TE3g67UaM
  
 
=== Правила выставления оценок ===
 
=== Правила выставления оценок ===
  
  
−
== Экзамен ==
+
== Проект ==
−
 
+
Документ с описанием проекта: [https://docs.google.com/document/d/1MKaEhZRGMomtckafjk7jxWAxE1JbO5m8RZ_AjxsOKrE/edit GoogleDoc]
−
 
+
−
 
+
−
== Семинары ==
+
−
Материалы семинаров:  
+
−
 
+
−
Плейлист с записями:  
+
  
  
 
== Домашние задания ==
 
== Домашние задания ==
 +
Задание по Docker (''не входит в оценку курса''): [https://akht.pl/tp2021-tech6 GoogleDoc]

Текущая версия на 16:03, 8 мая 2022

О курсе

Преподаватели: Ахтямов Павел Ибрагимович, Космачев Алексей Дмитриевич

Coursera

Список всех недель на Курсере, по которым будет формироваться оценка (включая первую часть курса 4 модуля)

  1. Bash - 1-й курс, 2-я неделя
  2. Docker - 3-й курс, 1-я неделя
  3. SQL + NoSQL - 1-й курс, 1-я неделя
  4. HDFS + MapReduce - 1-й курс, 3-я неделя
  5. Spark RDD + Spark SQL - 1-й курс, 4-я неделя
  6. ML (Handcrafted + Spark) - 1-й курс, 5-я неделя
  7. Flask - 3-й курс, 3-я неделя
  8. Распределённое обучение нейросетей - 2-й курс, 5-я неделя
  9. MLFlow - 3-й курс, 3-я неделя
  10. LSH + NHSW - 3-й курс, 5-я неделя
  11. Квантизация и дистилляция

Дедлайн - 19 мая, 20:59

Семинары

Занятия проводятся в Zoom: https://akht.pl/hse-big-data-2021-zoom

Все материалы занятий собраны в этом доке

Список ссылок на материалы с занятий:

Ссылки на видеозаписи занятий

Плейлист на YouTube: https://www.youtube.com/playlist?list=PLmA-1xX7IuzBzVbEzagG4SwEA_8w82wYB

Папка в Облаке Мейл.ру: https://cloud.mail.ru/public/Sqf9/TE3g67UaM

Правила выставления оценок

Проект

Документ с описанием проекта: GoogleDoc


Домашние задания

Задание по Docker (не входит в оценку курса): GoogleDoc

Источник — «http://wiki.cs.hse.ru/index.php?title=Обработка_и_анализ_больших_массивов_данных-МОиВС-2022&oldid=69321»