Просмотр исходного текста страницы Майнор Интеллектуальный анализ данных/Введение в анализ данных/2016-2017

== О курсе ==

Курс читается для студентов 2-го курса [https://electives.hse.ru/2015/minor_intel/ майнора ИАД] в 3-4 модулях.

Проводится с 2015 года.

'''Лектор:''' [http://www.hse.ru/staff/esokolov Соколов Евгений Андреевич]

Лекции проходят  по средам, 10:30 - 11:50, ауд. 5215 (Шаболовка, 26).


=== Полезные ссылки ===

[https://www.hse.ru/edu/courses/185566965 Карточка курса и программа]

[https://github.com/esokolov/ml-minor-hse Репозиторий с материалами на GitHub]

Почта для сдачи домашних заданий: hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_minor_intro_dm

[https://docs.google.com/spreadsheets/d/1sFKaErC0N7YteroaNS8N9JkHZUdWKc3RFv1wv5kGyzw/edit?usp=sharing Таблица с оценками]

Оставить отзыв на курс: [http://goo.gl/forms/RwdMxnChST форма]

'''Вопросы''' по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций лучше всего оформлять в виде [https://github.com/esokolov/ml-minor-hse/issues Issue] в [https://github.com/esokolov/ml-minor-hse github-репозитории курса].

=== Семинары ===

{| class="wikitable"
|-
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
|-
| ИАД-1 || [https://www.hse.ru/org/persons/161192709 Папулин Сергей Юрьевич] || Ефремова Ксения || [https://github.com/idaminorhse github] || среда, 12:10 - 13:30, ауд. 3214
|-
| ИАД-2 || [https://www.hse.ru/staff/ashestakoff Шестаков Андрей Владимирович] || Чеснокова Полина  || [[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/ИАД_2|Тут]] || среда, 12:10 - 13:30, ауд. 4427
|-
| ИАД-3 || [https://www.hse.ru/org/persons/200501640 Даулбаев Талгат Кайратулы] ||   Першин Дмитрий|| [https://github.com/iad34/seminars Ссылка] || среда, 09:00 - 10:20, ауд. 4335
|-
| ИАД-4 || [https://www.hse.ru/org/persons/191576735 Чиркова Надежда Александровна] || Стрельцов Антон ||[https://github.com/iad34/seminars Ссылка] || среда, 12:10 - 13:30, ауд. 4335
|-
| ИАД-5 || [https://www.hse.ru/org/persons/192085968 Яшков Даниил Дмитриевич] || Кохтев Вадим  ||[https://github.com/yashakb/minor_HSE/ github] || среда, 12:10 - 13:30, ауд. 4336
|-
|}

=== Правила выставления оценок ===

В курсе предусмотрено несколько форм контроля знания:
* Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
* Практические домашние работы на Python
* Коллоквиум в конце 1-го модуля
* Экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

O<sub>итоговая</sub> = 0.7 * O<sub>накопленная</sub> + 0.3 * О<sub>экз</sub>

Оценка за работу в семестре вычисляется по формуле

O<sub>накопленная</sub> = 0.2 * O<sub>самостоятельные</sub> + 0.6 * О<sub>дз</sub> + 0.2 * О<sub>коллоквиум</sub>

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям и соревнованиям.

=== Правила сдачи заданий ===

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

==Лекции==
[[Файл:how-to-download.png|thumb|right|200px|Файлы со слайдами очень легко скачать с GitHub с помощью кнопки Raw!]]

Лекция 1 (18.01.2017). Введение в машинное обучение и анализ данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture01-intro.pdf Слайды]]

Лекция 2 (25.01.2017). Типы задач машинного обучения. Типы признаков. Обобщающая способность и переобучение. Примеры задач анализа данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture02-intro.pdf Слайды]]

Лекция 3 (01.02.2017). Векторы и матрицы. Норма, метрика и скалярное произведение. Качество классификации, доля верных ответов. Оценивание обобщающей способности, кросс-валидация. Гипотеза компактности. Метод k ближайших соседей. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture03-knn.pdf Слайды]]

Лекция 4 (08.02.2017). Метод k ближайших соседей в регрессии. Среднеквадратичная ошибка. Матричное умножение. Производные и градиенты. Экстремумы функций. Обучение линейной регрессии. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture04-regression.pdf Слайды]]

Лекция 5 (15.02.2017). Градиентный спуск. Линейные зависимости и мультиколлинеарность. Регуляризация линейных моделей. Масштабирование признаков. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture05-regression.pdf Слайды]]

Лекция 6 (22.02.2017). Линейная классификация. Логистическая регрессия. Оценивание вероятностей. Метрики качества классификации: accuracy, precision, recall. Работа с категориальными признаками. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture06-linclass.pdf Слайды]]

Лекция 7 (01.03.2017). Метрики качества регрессии: MSE, MAE, коэффициент детерминации. Устойчивые оценки. Качество классификации, AUC-PR, AUC-ROC. Параметры и гиперпараметры. Многоклассовая классификация, подход one-vs-all. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture07-quality.pdf Слайды]]

Лекция 8 (15.03.2017). Решающие деревья. Критерии информативности. Энтропия и энтропийный критерий для классификации. Гиперпараметры деревьев, борьба с переобучением. Усреднение деревьев. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture08-trees.pdf Слайды]]

Лекция 9 (22.03.2017). Композиции алгоритмов. Случайные леса [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture09-trees.pdf Слайды]]

Лекция 10 (19.04.2017). Понижение размерности данных. Отбор признаков: одномерные методы, отбор с помощью моделей. Визуализация данных, t-SNE. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture10-reduction.pdf Слайды]]

Лекция 11 (26.04.2017). Обучение без учителя. Примеры задач. Кластеризация: K-Means, DBSCAN, графовые методы. Представления слов. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture11-clustering.pdf Слайды]]

Лекция 12 (17.05.2017). Рекомендательные системы. Коллаборативная фильтрация, модели со скрытыми переменными. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture12-recommender.pdf Слайды]]

Лекция 13 (24.05.2017). Статистика. Дискретные и непрерывные распределения. Меры среднего и разброса. Закон больших чисел и центральная предельная теорема. Визуализация данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture13-statistics.pdf Слайды]]

Лекция 14 (31.05.2017). Ранжирование. Метрики качества ранжирования. Точечные и попарные методы. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture14-ranking.pdf Слайды]]

Лекция 15 (07.06.2017). Обучение с переносом знаний. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2017/lecture15-transfer.pdf Слайды]]

== Коллоквиум ==

Коллоквиум состоится 12 апреля во время лекции.

Вопросы: https://docs.google.com/document/d/1jAiUeCYDPzeElDd5muzhVNQ4ylQFqs_iHPVseoSWlb4/edit?usp=sharing

Примеры задач:
* Метрические методы, kNN [[http://nbviewer.jupyter.org/github/shestakoff/minor_da_2017/blob/master/colloc_knn.ipynb Примеры задач]]
* Линейные методы [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_linear.pdf Примеры задач]]
* Решающие деревья [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_trees.ipynb Примеры задач]]
* Метрики качества [[https://github.com/esokolov/ml-minor-hse/blob/master/colloquium-2017/colloquium_minor_problems_metrics.ipynb Примеры задач]]

== Экзамен ==

Вопросы: https://docs.google.com/document/d/1IU2jEN5NU3tSuP_5YnFSS2GUDYxoLfSQ4dSy1B_a29M/edit?usp=sharing

[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач] (также могут войти задачи из коллоквиума)

==Полезные материалы==
===Курсы по машинному обучению и анализу данных===
* [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 Курс по машинному обучению К.В. Воронцова]
* [https://yandexdataschool.ru/edu-process/courses/machine-learning Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов]
* [https://www.coursera.org/specializations/machine-learning-data-analysis Coursera: Машинное обучение и анализ данных (специализация)]
* [https://www.coursera.org/learn/introduction-machine-learning Coursera: Введение в машинное обучение, К.В. Воронцов]
* [https://www.coursera.org/learn/machine-learning Coursera: Machine Learning, Andrew Ng]

===Статьи===
* [http://www.toptal.com/machine-learning/machine-learning-theory-an-introductory-primer An Introduction to Machine Learning Theory and Its Applications: A Visual Tutorial with Examples]
* [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ A Visual Introduction to Machine Learning]

===Книги===
* Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
* Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
* James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

== Страницы прошлых лет ==

[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2015-2016 | 2015/16 учебный год ]]

[[Category:Майнор "Интеллектуальный анализ данных"]]