Машинное обучение на больших данных 2021
Содержание
О курсе
Курс читается для студентов 4-го курса ПМИ ФКН ВШЭ в 3 модуле. Проводится с 2017 года.
Лектор: Зимовнов Андрей Вадимович
Лекции ПМИ проходят по понедельникам в 11:10 по ссылке.
Вычислительные мощности в облаке Azure для курса предоставила компания Microsoft.
Полезные ссылки
Таблица с оценками: https://docs.google.com/spreadsheets/d/1cdzBaW_k4uzyMDtBijeyjji0o21VhJ3g-mO185vmKso/edit#gid=0
Репозиторий с лекциями на GitHub
Репозиторий с семинарами на GitHub
YouTube канал с записями всех занятий
Самостоятельные задачи cдаются в Dropbox. Дедлайны жесткие. Для каждого семинара своя отдельная ссылка на прием заданий:
Задание | Ссылка для сдачи | Ссылка на домашнее задание | Дата выдачи | Дедлайн |
---|---|---|---|---|
Мини домашнее задание 1. Azure & Bash | https://www.dropbox.com/request/wLLX3aHRKwahk0ukMYxe | https://bit.ly/2NbF2QX | 20 января | 3 февраля 23:59 |
Мини домашнее задание 2. Hadoop & Spark | https://www.dropbox.com/request/jctWv4RclpbNUr7G4WCX | https://bit.ly/3aSQbyd | 10 февраля | 7 марта 23:59 |
Мини домашнее задание 3. Classic models | https://www.dropbox.com/request/AS0pVq4PVvn8IEk8aHQI | https://bit.ly/2ZKYvev | 24 февраля | 17 марта 23:59 |
Мини домашнее задание 4. Neural netowrks | https://www.dropbox.com/request/lgnAY7cd2gNVTCMFqZY0 | https://bit.ly/3lyUns8 | 18 марта | 28 марта 23:59 |
Мини домашнее задание 5 (бонусное). KNN & Streaming | https://www.dropbox.com/request/8xvTfpzu14UVkN6oTf49 | Ищите в ноутбуках с последних семинаров | 17 марта | 28 марта 23:59 |
Основное домашнее задание | https://www.dropbox.com/request/ntCyZLdoaRzUA4GohBEH | https://bit.ly/3bAmmmx | 24 февраля | 28 марта 23:59 |
Канал в telegram для объявлений: https://t.me/joinchat/RNZgXfAHNbG_biu3
Ошибки в материалах лекций/семинаров/заданий лучше всего оформлять в виде issue на github.
Семинары
Группа | Преподаватель | Время | Аудитория |
---|---|---|---|
МОП 171 | Космачев Алексей Дмитриевич | Среда 14:40 - 16:00 | Zoom конференция |
МОП 172 | Орлов Никита Андреевич | Вторник 11:10 - 12:30 | Zoom конференция |
Консультации
Консультации с преподавателями и учебными ассистентами (если иное не оговорено на странице семинаров конкретной группы) по курсу проводятся по предварительной договорённости ввиду невостребованности регулярных консультаций.
При необходимости, можно писать на почту или в Telegram:
Алексей – @adkosm
Никита – @naorlov
Правила выставления оценок
В курсе предусмотрено несколько форм контроля знания:
- Мини домашние задания (4 обязательных и 1 бонусное)
- Основное домашнее задание
Итоговая оценка вычисляется:
Oитоговая = 0.125*(OМДЗ1 + OМДЗ2 + OМДЗ3 + OМДЗ4) + 0.5*OДЗ
Округление арифметическое.
Правила сдачи заданий
На все домашние задания каждому студенту отводится ~500$ для работы в облаке Azure. Важно останавливать\удалять ресурсы, создаваемые в облаке, так как в противном случае финансов может не хватить для выполнения всех заданий. Полезно при этом овладеть навыком сохранения промежуточных данных в облачном хранилище - это позволит максимально быстро выполнять задания с минимальными финансовыми затратами.
Дедлайны по всем домашним заданиям являются жёсткими, то есть после срока работы не принимаются.
При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.
Полезные материалы
Книги
- Ron Bekkerman, Mikhail Bilenko, John Langford. Scaling up Machine Learning: Parallel and Distributed Approaches, Cambridge University Press, 2011.
- Jure Leskovec, Anand Rajaraman, Jeff Ullman. Mining of Massive Datasets, Cambridge University Press, 2014.
- Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning (Adaptive Computation and Machine Learning series), The MIT Press, 2016.
- Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills. Advanced Analytics with Spark: Patterns for Learning from Data at Scale, O'Reilly Media, 2015.
Странички прошлых лет
http://wiki.cs.hse.ru/Машинное_обучение_на_больших_данных
http://wiki.cs.hse.ru/Машинное_обучение_на_больших_данных_2020
https://talk37.vn/forums/mot-so-thao-moc-thuong-dung-cho-van-de-tieu-hoa.t49803/
https://talk37.vn/forums/5-loai-nhan-sam-tot-nhat-hien-nay.t49751/
https://talk37.vn/forums/nhung-tac-dung-chua-phi-dai-tuyen-tien-liet-bang-nang-hoa-trang.t48733/
https://talk37.vn/forums/loi-ich-cua-dinh-lang-trong-viec-ngua-loang-xuong.t48600/
https://talk37.vn/forums/loi-ich-tuyet-dieu-cua-can-tay-voi-suc-khoe-gan.t48544/
https://talk37.vn/forums/bat-ngo-cach-giam-stress-bang-thao-duoc.t48381/
https://talk37.vn/forums/5-thao-moc-hang-dau-cho-luu-thong-mau-nao.t48083/
https://talk37.vn/forums/chum-ngay-co-the-dieu-tri-cac-tac-dung-phu-cua-ung-thu.t47282/
https://talk37.vn/forums/meo-tri-chung-dai-dat-nhanh-hieu-qua.t47192/
https://talk37.vn/forums/nhung-cong-dung-cua-cuc-dai-trong-y-hoc-co-truyen.t47126/
https://talk37.vn/forums/mot-so-loi-ich-noi-bat-cua-cay-ba-benh.t46952/
https://talk37.vn/forums/loi-ich-cua-viec-gia-cong-thuc-pham-chuc-nang-tu-nhan-sam.t46863/
https://talk37.vn/forums/cong-dung-ngua-cholesterol-cao-tuyet-voi-cua-bot-mam-dau-xanh.t46831/
https://talk37.vn/forums/tac-dung-chong-viem-tuyet-voi-cua-cao-dinh-lang.t46625/
https://talk37.vn/forums/nhung-loi-ich-suc-khoe-hang-dau-cua-omega-3-bot-tao.t46491/
https://talk37.vn/forums/mot-so-tac-dung-tuyet-dieu-cua-nano-silymarin.t46139/
https://talk37.vn/forums/cach-dieu-tri-benh-dai-thao-duong-bang-rau-ngo-cuc-ky-hieu-qua.t45922/
https://talk37.vn/forums/diep-ha-chau-co-loi-voi-than-nhu-the-nao.t45420/
https://talk37.vn/forums/5-loi-ich-suc-khoe-lanh-manh-cua-can-tay.t45282/
https://talk37.vn/forums/6-thuc-pham-rat-tot-cho-suc-khoe.t39953/
https://talk37.vn/forums/7-loai-thao-moc-bo-duong-ban-can-biet.t23849/
https://talk37.vn/forums/ca-gai-leo-tang-cuong-chuc-nang-gan-than.t32806/
https://talk37.vn/forums/cac-loai-thuc-vat-giup-giam-viem-hieu-qua-tuyet-voi.t28901/
https://talk37.vn/forums/kich-thich-an-ngon-nho-nhung-thao-moc-sau.t34297/
https://talk37.vn/forums/ich-loi-suc-khoe-cua-bao-che-la-atiso.t27534/#post-49109
https://www.thegioiseo.com/threads/lam-sao-de-bo-sung-can-tay-tot-cho-suc-khoe.946806/
https://www.thegioiseo.com/threads/tai-sao-nen-dung-ma-tien-che-chong-oxy-hoa-va-tieu-duong.946432/
https://www.thegioiseo.com/threads/tai-sao-nen-dung-day-thia-canh-cho-benh-tieu-duong.945984/
https://www.thegioiseo.com/threads/7-thao-moc-khong-the-bo-qua-de-ngan-ngua-rung-toc.945377/
https://www.thegioiseo.com/threads/7-loai-tra-thao-moc-loai-bo-tao-bon-nhanh-chong.945002/
https://www.thegioiseo.com/threads/9-ly-do-nen-bo-sung-bot-sam-ginseng.944764/
https://www.thegioiseo.com/threads/5-thao-duoc-cho-cac-benh-duong-ho-hap-khong-the-bo-qua.944645/
https://www.thegioiseo.com/threads/bo-tui-ngay-cac-bien-phap-chua-mat-ngu-bang-thao-duoc.944185/
https://www.thegioiseo.com/threads/top-5-ly-do-ban-nen-bo-sung-probiotic-cho-tre.944037/
https://www.thegioiseo.com/threads/tai-sao-bot-chiet-xuat-tra-xanh-co-tac-dung-loi-tieu.943935/
https://www.thegioiseo.com/threads/thao-moc-nao-thuong-dung-cho-my-pham-trang-da.943538/
https://www.thegioiseo.com/threads/thuc-hu-tac-dung-ngua-loang-xuong-o-nam-gioi-cua-mat-nhan.943403/
https://www.thegioiseo.com/threads/tang-cuong-loi-ich-suc-khoe-bang-nam-men-bia.943263/
https://www.thegioiseo.com/threads/cac-bien-phap-tu-nhien-dieu-tri-u-xo-tu-cung.943132/
https://www.thegioiseo.com/threads/nhung-dieu-can-biet-ve-cay-nguu-bang.942896/
https://www.thegioiseo.com/threads/5-cach-kiem-soat-viem-loat-dai-trang-bang-thao-duoc.942773/
https://www.thegioiseo.com/threads/bat-ngo-cac-thao-moc-giup-tang-cuong-tieu-hoa.942644/
https://www.thegioiseo.com/threads/5-thao-moc-hang-dau-giup-lam-dep-da.942496/
https://www.thegioiseo.com/threads/ho-tro-dieu-tri-alzheimer-bang-thao-moc-thien-nhien.942384/
https://www.thegioiseo.com/threads/xuyen-khung-duoc-dung-cho-loi-ich-suc-khoe-gi.941947/
https://www.thegioiseo.com/threads/diep-ha-chau-giai-doc-gan.941627/
https://www.thegioiseo.com/threads/5-thao-moc-chong-oxy-hoa.941478/
https://www.thegioiseo.com/threads/10-thao-duoc-loi-mat.941194/
https://www.thegioiseo.com/threads/cac-bien-phap-tu-nhien-ho-tro-dieu-tri-gan-nhiem-mo.941030/
https://www.thegioiseo.com/threads/tac-dung-cua-muop-dang-voi-benh-tieu-duong-tuyp-2.940894/
https://www.thegioiseo.com/threads/10-thao-moc-giup-giam-can.940714/
https://www.thegioiseo.com/threads/top-5-loi-ich-suc-khoe-cua-cay-ma-tien.940582/
https://www.thegioiseo.com/threads/loi-ich-ngua-ung-thu-cua-muop-dang.940304/
https://www.thegioiseo.com/threads/lam-sao-de-su-dung-qua-chi-tu-hieu-qua.940091/
https://www.thegioiseo.com/threads/ngan-ngua-tac-dung-phu-do-thuoc-voi-gan-bang-ca-gai-leo.939867/
https://www.thegioiseo.com/threads/tac-dung-cua-chiet-xuat-huong-phu-voi-benh-alsheimer.939758/
https://www.thegioiseo.com/threads/cac-bien-phap-khac-phuc-tu-nhien-tai-nha-cho-benh-gut.939158/
https://www.thegioiseo.com/threads/kiem-soat-benh-tieu-duong-hieu-qua-nho-tra-xanh.939000/
https://www.thegioiseo.com/threads/diem-mat-5-loai-nhan-sam-tot-nhat-hien-nay.938593/
https://www.thegioiseo.com/threads/bot-tao-co-tac-dung-gi.938282/
https://www.thegioiseo.com/threads/5-loai-bot-mam-tuyet-voi-cho-suc-khoe.937643/
https://www.thegioiseo.com/threads/bat-mi-cac-loi-ich-cua-thuc-pham-chuc-nang.937206/
https://www.thegioiseo.com/threads/10-loai-thao-moc-bo-duong-ban-nen-bo-sung-ngay.937078/
https://www.thegioiseo.com/threads/chua-phi-dai-tuyen-tien-liet-bang-nang-hoa-trang.936612/
https://www.thegioiseo.com/threads/moc-hoa-trang-co-chong-duoc-oxy-hoa-khong.936304/
https://www.thegioiseo.com/threads/can-tay-co-loi-ich-gi-cua-gan.936153/
https://www.thegioiseo.com/threads/loi-ich-that-su-cua-huong-phu.936149/
https://www.thegioiseo.com/threads/cac-loi-ich-suc-khoe-cua-bot-chiet-xuat-tra-xanh.935644/
https://www.thegioiseo.com/threads/tang-luu-thong-mau-nao-nho-5-thao-duoc-nay.935116/
https://www.thegioiseo.com/threads/cac-duoc-lieu-thien-nhien-tu-thao-moc-cho-benh-gut.934437/
https://www.thegioiseo.com/threads/top-5-thao-moc-tu-nhien-cho-van-de-tiet-nieu.934243/
https://www.thegioiseo.com/threads/cao-son-tra-va-nhung-loi-ich-it-biet.934062/
https://www.thegioiseo.com/threads/bo-sung-muop-dang-mang-lai-loi-ich-tuyet-voi-cho-ban.934009/
https://nguoiquangbinh.net/forum/diendan/showthread.php?t=127335
https://nguoiquangbinh.net/forum/diendan/showthread.php?p=800235