Машинное обучение на больших данных 2021
Содержание
О курсе
Курс читается для студентов 4-го курса ПМИ ФКН ВШЭ в 3 модуле. Проводится с 2017 года.
Лектор: Зимовнов Андрей Вадимович
Лекции ПМИ проходят по
Вычислительные мощности в облаке Azure для курса предоставила компания Microsoft.
Полезные ссылки
Таблица с оценками: https://docs.google.com/spreadsheets/d/1cdzBaW_k4uzyMDtBijeyjji0o21VhJ3g-mO185vmKso/edit#gid=0
Репозиторий с лекциями на GitHub
Репозиторий с семинарами на GitHub
Самостоятельные задачи cдаются в Dropbox. Для каждого семинара своя отдельная ссылка на прием заданий:
- Мини домашнее задание 1. Azure & Bash - https://www.dropbox.com/request/wLLX3aHRKwahk0ukMYxe
- Мини домашнее задание 2. Hadoop & Spark - https://www.dropbox.com/request/jctWv4RclpbNUr7G4WCX
- Мини домашнее задание 3. Classic models - https://www.dropbox.com/request/AS0pVq4PVvn8IEk8aHQI
- Мини домашнее задание 4. Neural netowrks - https://www.dropbox.com/request/lgnAY7cd2gNVTCMFqZY0
- Мини домашнее задание 5 (бонусное). KNN & Streaming - https://www.dropbox.com/request/8xvTfpzu14UVkN6oTf49
Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFj8HdBYgd79RDeQpg
Ошибки в материалах лекций/семинаров/заданий лучше всего оформлять в виде issue на github.
Семинары
| Группа | Преподаватель | Время | Аудитория |
|---|---|---|---|
| МОП 171 | Космачев Алексей Дмитриевич | ||
| МОП 172 | Орлов Никита |
Консультации
Консультации с преподавателями и учебными ассистентами (если иное не оговорено на странице семинаров конкретной группы) по курсу проводятся по предварительной договорённости ввиду невостребованности регулярных консультаций.
При необходимости, можно писать на почту или в Telegram:
Алексей - @adkosm
Никита –
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Самостоятельные задания, выдаваемые на каждом семинаре. Дедлайн на сдачу заданий - 2 недели с момента проведения семинара. Не включая день семинара через две недели.
- Практическое домашнее задание (будет выдано ориентировочно на 3 семинаре).
- Письменный экзамен.
Итоговая оценка вычисляется:
Oитоговая = 0.5* Oдомашка + 0.2 * Oсам. раб. + 0.3 * Оэкзамен
Автомат возможен при высоких оценках за практическое домашнее задание и решенные самостоятельные задания.
Правила сдачи заданий
На все домашние задания каждому студенту отводится ~500$ для работы в облаке Azure. Важно останавливать\удалять ресурсы, создаваемые в облаке, так как в противном случае финансов может не хватить для выполнения всех заданий. Полезно при этом овладеть навыком сохранения промежуточных данных в облачном хранилище - это позволит максимально быстро выполнять задания с минимальными финансовыми затратами.
Дедлайн на самостоятельные задачи, которые выдаются на семинаре - 2 недели со дня семинара. Не включая день семинара через две недели.
Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работы не принимаются.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
Лекции
Слайды тут: https://github.com/ZEMUSHKA/lsml_hse_lectures
Домашка
Выдана: 21 февраля 2020 23:59
Дедлайн: 14 марта 2020 23:59
https://docs.google.com/document/d/1JZ2ODuCO18tLrVPFx9k9Df_b7IbRZtgZ1MGHcLqHxFs/edit?usp=sharing
Экзамен
Дата: 24.03.2020
Место: онлайн,
Сдаем экзамен в гугл формах (три поля в форме) на 1,5 часа
Вопросы к экзамену:
• Граф вычислений, RDD, примеры трансформаций в Apache Spark, accumulator и broadcast переменные
• MapReduce. AllReduce в Vowpal Wabbit
• Варианты распараллеливания линейных моделей (на одной машине и на кластере). Хэширование признаков
• Варианты распараллеливания ALS
• Инвертированный индекс для подсчета попарных похожестей на MapReduce
• Feature binning в градиентном бустинге, процедура выбора лучшего сплита для задачи регрессии (показать, что такой сплит ведет к уменьшению MSE)
• Feature binning в градиентном бустинге, процедура выбора лучшего сплита для задачи регрессии (показать, что такой сплит ведет к уменьшению MSE). Варианты распараллеливания градиентного бустинга с feature binning
• Варианты распараллеливания градиентного бустинга с feature binning (вывести формулу для регрессии)
• MinHash и его связь с мерой Жаккара
• Как устроен Bloom Filter с оценкой ошибки
• Как работает Count-Min Sketch с выводом ошибки для точечной оценки
• LSH для поиска похожих документов по мере Жаккара (с использованием MinHash, описать как работают) с выводом вероятности попасть в кандидаты в зависимости от s
• Parameter Server и пример использования для Delayed Block Proximal Gradient.
• Как можно параллелить нейронные сети
В билеты 2 вопроса и 1 задача (на MapReduce)
Полезные материалы
Книги
- Ron Bekkerman, Mikhail Bilenko, John Langford. Scaling up Machine Learning: Parallel and Distributed Approaches, Cambridge University Press, 2011.
- Jure Leskovec, Anand Rajaraman, Jeff Ullman. Mining of Massive Datasets, Cambridge University Press, 2014.
- Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning (Adaptive Computation and Machine Learning series), The MIT Press, 2016.
- Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills. Advanced Analytics with Spark: Patterns for Learning from Data at Scale, O'Reilly Media, 2015.
