Data analysis (Software Engineering) — различия между версиями

Версия 13:29, 15 января 2016

Почта курса: cshse.ml@gmail.com

Контакты преподавателей:

Виктор Китов v.v.kitov@yandex.ru

Лобачева Екатерина elobacheva@hse.ru

Обратная связь: написать комментарий или пожелание по курсу

Оформление писем

Вопросы и домашние задания присылайте на почтовый адрес cshse.ml@gmail.com. На почту присылайте письма со следующими темами:

• Для вопросов (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя Отчество - Группа"
• Для лабораторных: "Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)"

Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в тот же тред.

Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.

Краткое описание

В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности, ранжирование, коллаборативная фильрация. По изложению для каждой рассматриваемой задачи изучаются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Большое внимание уделено освоению практических навыков анализа данных, отрабатываемых на семинарах, которое будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей.

Программа курса

1. Introduction to machine learning.
2. K-nearest neighbours classification and regression. Extensions. Optimization techniques.
3. Decision tree methods.
4. Bayesian decision theory. Model evaluation:

• confusion matrix, accuaracy, ROC, AUC.

1. Linear classification methods. Adding regularization to linear methods.
2. Regression.
3. Kernel generalization of standard methods.
4. Neural networks.
5. Ensemble methods: bagging, boosting, etc.
6. Feature selection.

• based on correlation, mutual information, forward-stagewise, backward-stagewise, forward-backward, L1, tree-based importances.

1. Feature extraction

• PCA, SVD

1. EM algorithm. Density estimation using mixtures.
2. Clustering
3. Collaborative filtering
4. Ranking

Lecture materials

Lecture 1. Introduction to data science and machine learning.

Download

Additional materials: The Field Guide to Data Science, Лекция К.В.Воронцова

Lecture 2. K nearest neighbours method.

Download

Additional materials: Лекция К.В.Воронцова, Metric learning survey 1, Metric learning survey 2

Семинары

Семинар 1. Инструментарий Знакомство с языком Python. Practical task 1, data set

Материал в помощь.

Полезные ссылки

Машинное обучение

• machinelearning.ru
• Одна из классических и наиболее полных книг по машинному обучению. Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)

Python

• Официальный сайт
• Библиотеки: NumPy, Pandas, SciKit-Learn, Matplotlib.
• Небольшой пример для начинающих: краткое руководство с примерами по Python 2
• Питон с нуля: A Crash Course in Python for Scientists
• Лекции Scientific Python
• Книга: Wes McKinney «Python for Data Analysis»
• Коллекция интересных IPython ноутбуков

Установка и настройка Python

• Windows
• Mac OS
• Linux