Data analysis (Software Engineering) — различия между версиями

Версия 19:15, 15 января 2016

Таблица результатов здесь

Почта курса: cshse.ml@gmail.com

Обратная связь: написать комментарий или пожелание по курсу

Контакты преподавателей:

Виктор Китов v.v.kitov@yandex.ru

Лобачева Екатерина elobacheva@hse.ru

Краткое описание

В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности, ранжирование, коллаборативная фильрация. По изложению для каждой рассматриваемой задачи изучаются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Большое внимание уделено освоению практических навыков анализа данных, отрабатываемых на семинарах, которое будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа и теории вероятностей.

Курс включает в себя:

1. Лекции и семинары
2. Практические и теоретические домашние задания
3. Одно соревновательное задание (информация будет уточнена позднее)
4. Два теоретических коллоквиума: в середине и в конце семестра
5. Письменный экзамен в конце семестра

Программа курса

1. Introduction to machine learning.
2. K-nearest neighbours classification and regression. Extensions. Optimization techniques.
3. Decision tree methods.
4. Bayesian decision theory. Model evaluation:

• confusion matrix, accuaracy, ROC, AUC.

1. Linear classification methods. Adding regularization to linear methods.
2. Regression.
3. Kernel generalization of standard methods.
4. Neural networks.
5. Ensemble methods: bagging, boosting, etc.
6. Feature selection.

• based on correlation, mutual information, forward-stagewise, backward-stagewise, forward-backward, L1, tree-based importances.

1. Feature extraction

• PCA, SVD

1. EM algorithm. Density estimation using mixtures.
2. Clustering
3. Collaborative filtering
4. Ranking

Lecture materials

Lecture 1. Introduction to data science and machine learning.

Download

Additional materials: The Field Guide to Data Science, Лекция К.В.Воронцова

Lecture 2. K nearest neighbours method.

Download

Additional materials: Лекция К.В.Воронцова, Metric learning survey 1, Metric learning survey 2

Seminars

Seminar 1. Introduction to Data Analysis in Python

Practical task 1, data

Additional materials: Examples

Оформление писем и заданий

Вопросы и домашние задания присылайте на почтовый адрес cshse.ml@gmail.com. На почту присылайте письма со следующими темами:

• Для вопросов (общих, по лабораторным, по теории и т. д.): "Вопрос - Фамилия Имя - Группа"
• Для заданий: "Практика/Теория {Номер работы} - Фамилия Имя - Группа"

Пример: Практика 1 - Иванов Иван - 131(1)

Если вопрос адресован конкретному преподавателю, то также укажите его имя в теме письма.

Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в тот же тред.

Практические задания нужно сдавать в ipython notebook, а теоретические формате pdf. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.

Полезные ссылки

Машинное обучение

• machinelearning.ru
• Одна из классических и наиболее полных книг по машинному обучению. Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)

Python

• Официальный сайт
• Библиотеки: NumPy, Pandas, SciKit-Learn, Matplotlib.
• Небольшой пример для начинающих: краткое руководство с примерами по Python 2
• Питон с нуля: A Crash Course in Python for Scientists
• Лекции Scientific Python
• Книга: Wes McKinney «Python for Data Analysis»
• Коллекция интересных IPython ноутбуков

Установка и настройка Python

• Windows
• Mac OS
• Linux