Просмотр исходного текста страницы Машинное обучение на больших данных 145

=== Семинары ===

==== Azure, Spark (10.04) ====

Полезные ссылки

* [https://docs.microsoft.com/en-us/cli/azure/overview Документация по azure CLI]
* [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/mac-create-ssh-keys Генерация ключей для Linux/Mac] и [https://docs.microsoft.com/en-us/azure/virtual-machines/linux/ssh-from-windows для Windows].

Задачи на Spark (map-reduce):

# Формат таблицы: (название города, (температура, день)). Найдите среднюю температуру по каждому городу.
# Формат таблицы: (название города, (температура, день)). Для каждого дня выведите список городов, где температура была выше средней в этот день.
# Формат таблицы: (ID человека, рост человека). Построить гистограмму средних значений роста при бутстрепе с числом выборок N.
# Формат таблицы: (ID, вектор). Посчитать косинус угла между всеми парами векторов. Известно, что у векторов очень большая размерность, но они являются разреженными.
# Формат таблицы: (ID вершины, список ID соседей вершины). Для вершины с заданным номером найти кратчайшие расстояния до всех остальных вершин.

==== Vowpal Wabbit, Azure (03.04) ====

Задание на Vowpal Wabbit:

* Скачайте данные, разберитесь с форматом, конвертируйте его в формат VW
* Обучите линейную модель на обучающих данных, проверьте на тестовых
* Обучите модель с логистической функцией потерь
* (доп.) Обучите нелинейную модель и добейтесь с ее помощью более высокого качества

[https://www.dropbox.com/s/8bv4xn7qbnbg8ql/train1kk.raw.gz?dl=0 Данные для обучения], [https://www.dropbox.com/s/trrxrjynnmbs3ba/test100k.raw.gz?dl=0 данные для тестирования],
[https://www.kaggle.com/c/avazu-ctr-prediction/data формат данных]

По Azure:

* На семинаре вы получили логин вида studentN и пароль к нему.
* Залогиньтесь на portal.azure.com с логином studentN@zimovnovgmail.onmicrosoft.com . Там пока ничего делать не нужно.
* Установите себе Azure CLI. ''Если его не получается установить, установите хотя бы генератор ssh-ключей: ssh-keygen для Unix или [https://docs.microsoft.com/ru-ru/azure/virtual-machines/virtual-machines-linux-ssh-from-windows см. тут] для Windows. На семинаре будем разбираться''.
* Установите какую-нибудь утилиту для ssh-подключений: ssh для Unix или, например, PuTTY для Windows.