Майнор Интеллектуальный анализ данных/Введение в анализ данных — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(→‎Лекции)
Строка 12: Строка 12:
 
=== Полезные ссылки ===
 
=== Полезные ссылки ===
  
−
[https://www.hse.ru/ba/ami/courses/205537431.html Карточка курса и программа]
+
[https://www.hse.ru/edu/courses/219890194 Карточка курса и программа]
  
 
[https://github.com/esokolov/ml-minor-hse Репозиторий с материалами на GitHub]
 
[https://github.com/esokolov/ml-minor-hse Репозиторий с материалами на GitHub]
Строка 18: Строка 18:
 
Почта для сдачи домашних заданий: hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)
 
Почта для сдачи домашних заданий: hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)
  
−
Канал в telegram для объявлений: https://telegram.me/hse_minor_intro_dm_2018
+
Канал в telegram для объявлений: https://telegram.me/hse_minor_intro_dm_2019
  
−
[https://docs.google.com/spreadsheets/d/1n6-_nCiIQYQQwDbqJKtDoKXNRlbEk3798nKTkOqc6YE/edit?usp=sharing Таблица с оценками]
+
[https://docs.google.com/spreadsheets/d/1B1cwdaCJ2uPhqJs4fQJDcGKUgjBKl7DcNLOwsvSbxHY/edit?usp=sharing Таблица с оценками]
  
 
Оставить отзыв на курс: [http://goo.gl/forms/RwdMxnChST форма]
 
Оставить отзыв на курс: [http://goo.gl/forms/RwdMxnChST форма]
Строка 33: Строка 33:
 
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
 
! Группа !! Преподаватель !! Учебный ассистент !! Страница !! Расписание
 
|-
 
|-
−
| ИАД-1 || Рысьмятова Анастасия || Багиян Нерсес  <br />[https://t.me/nbagiyan Telegram],  [mailto:nkb997@gmail.com Mail]|| [https://github.com/AnastasiaRysmyatova/IAD-1/blob/master/README.md Страница] || среда, 12:10 - 13:30, ауд. 4336
+
| ИАД-1 || || || ||  
 
|-
 
|-
−
| ИАД-2 || Талгат Даулбаев, Надежда Чиркова || Першин Максим  <br />[https://t.me/Skvidvardin Telegram],  [mailto:max_pershin@bk.ru Mail] || [https://github.com/iad-24/seminars Страница] || среда, 09:00 - 10:20, ауд. 4336
+
| ИАД-2 || || || ||  
 
|-
 
|-
−
| ИАД-3 || Каюмов Эмиль || Ковалев Евгений <br />[https://t.me/blackitten13 Telegram], [https://vk.com/blackitten13 VK], [https://www.instagram.com/blackitten13 Instagram :)] ||  || среда, 09:00 - 10:20, ауд. 4427
+
| ИАД-3 || || ||  ||  
 
|-
 
|-
−
| ИАД-4 || Надежда Чиркова, Талгат Даулбаев || Вальчук Ксения  <br />[https://t.me/nu_takoe Telegram],  [mailto:ksenia.valchuk@gmail.com Mail] || [https://github.com/iad-24/seminars Страница] || среда, 12:10 - 13:30, ауд. 4335
+
| ИАД-4 || || || ||  
 
|-
 
|-
−
| ИАД-5 || Филатов Артём || Рогачевская Анастасия  <br />[https://t.me/arogachewskaya Telegram],  [mailto:arogachewskaya@gmail.com Mail] || [https://t.me/joinchat/ABAXWFByRjNOFQCQabgiKA Telegram] || среда, 09:00 - 10:20, ауд. 4337
+
| ИАД-5 ||  || ||  ||  
 
|-
 
|-
 
|}
 
|}
Строка 72: Строка 72:
 
[[Файл:how-to-download.png|thumb|right|200px|Файлы со слайдами очень легко скачать с GitHub с помощью кнопки Raw!]]
 
[[Файл:how-to-download.png|thumb|right|200px|Файлы со слайдами очень легко скачать с GitHub с помощью кнопки Raw!]]
  
−
Лекция 1 (17.01.2018). Введение в машинное обучение и анализ данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture01-intro.pdf Слайды]]
+
Лекция 1 (16.01.2018). Введение в машинное обучение и анализ данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture01-intro.pdf Слайды]]
  
−
Лекция 2 (24.01.2018). Типы задач машинного обучения. Типы признаков. Обобщающая способность и переобучение. Примеры задач анализа данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture02-intro.pdf Слайды]]
+
Лекция 2 (23.01.2018). Типы задач машинного обучения. Типы признаков. Обобщающая способность и переобучение. Примеры задач анализа данных. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture02-intro.pdf Слайды]]
  
−
Лекция 3 (31.01.2018). Векторы и матрицы. Норма, метрика и скалярное произведение. Качество классификации, доля верных ответов. Оценивание обобщающей способности, кросс-валидация. Гипотеза компактности. Метод k ближайших соседей. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture03-knn.pdf Слайды]]
+
Лекция 3 (30.01.2018). Векторы и матрицы. Норма, метрика и скалярное произведение. Качество классификации, доля верных ответов. Оценивание обобщающей способности, кросс-валидация. Гипотеза компактности. Метод k ближайших соседей. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture03-knn.pdf Слайды]]
  
−
Лекция 4 (07.02.2018). Метод k ближайших соседей в регрессии. Среднеквадратичная ошибка. Матричное умножение. Производные и градиенты. Экстремумы функций. Обучение линейной регрессии. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture04-regression.pdf Слайды]]
+
Лекция 4 (06.02.2018). Метод k ближайших соседей в регрессии. Среднеквадратичная ошибка. Матричное умножение. Производные и градиенты. Экстремумы функций. Обучение линейной регрессии. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture04-regression.pdf Слайды]]
  
−
Лекция 5 (14.02.2018). Градиентный спуск. Линейные зависимости и мультиколлинеарность. Регуляризация линейных моделей. Масштабирование признаков. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture05-regression.pdf Слайды]]
+
Лекция 5 (13.02.2018). Градиентный спуск. Линейные зависимости и мультиколлинеарность. Регуляризация линейных моделей. Масштабирование признаков. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture05-regression.pdf Слайды]]
  
−
Лекция 6 (21.02.2018). Линейная классификация. Логистическая регрессия. Оценивание вероятностей. Метрики качества классификации: accuracy, precision, recall. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture06-linclass.pdf Слайды]]
+
Лекция 6 (20.02.2018). Линейная классификация. Логистическая регрессия. Оценивание вероятностей. Метрики качества классификации: accuracy, precision, recall. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture06-linclass.pdf Слайды]]
  
−
Лекция 7 (28.02.2018). Работа с категориальными признаками. Метрики качества регрессии: MSE, MAE, коэффициент детерминации. Устойчивые оценки. Качество классификации, AUC-PR, AUC-ROC. Параметры и гиперпараметры. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture07-quality.pdf Слайды]]
+
Лекция 7 (27.02.2018). Работа с категориальными признаками. Метрики качества регрессии: MSE, MAE, коэффициент детерминации. Устойчивые оценки. Качество классификации, AUC-PR, AUC-ROC. Параметры и гиперпараметры. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture07-quality.pdf Слайды]]
  
−
Лекция 8 (14.03.2018). Многоклассовая классификация, подход one-vs-all. Решающие деревья. Критерии информативности. Энтропия и энтропийный критерий для классификации. Гиперпараметры деревьев, борьба с переобучением. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture08-trees.pdf Слайды]]
+
Лекция 8 (13.03.2018). Многоклассовая классификация, подход one-vs-all. Решающие деревья. Критерии информативности. Энтропия и энтропийный критерий для классификации. Гиперпараметры деревьев, борьба с переобучением. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture08-trees.pdf Слайды]]
  
−
Лекция 9 (21.03.2018). Композиции алгоритмов. Случайные леса [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture09-ensembles.pdf Слайды]]
+
Лекция 9 (20.03.2018). Композиции алгоритмов. Случайные леса [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture09-ensembles.pdf Слайды]]
  
−
Лекция 10 (18.04.2018). Понижение размерности данных. Отбор признаков: одномерные методы, отбор с помощью моделей. Визуализация данных, t-SNE. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture10-reduction.pdf Слайды]]
+
Лекция 10 (17.04.2018). Понижение размерности данных. Отбор признаков: одномерные методы, отбор с помощью моделей. Визуализация данных, t-SNE. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture10-reduction.pdf Слайды]]
  
−
Лекция 11 (25.04.2018). Обучение без учителя. Примеры задач. Кластеризация: K-Means, DBSCAN, графовые методы. Представления слов. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture11-clustering.pdf Слайды]]
+
Лекция 11 (24.04.2018). Обучение без учителя. Примеры задач. Кластеризация: K-Means, DBSCAN, графовые методы. Представления слов. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture11-clustering.pdf Слайды]]
  
−
Лекция 12 (16.05.2018). Рекомендательные системы. Коллаборативная фильтрация, модели со скрытыми переменными. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture12-recommender.pdf Слайды]]
+
Лекция 12 (15.05.2018). Рекомендательные системы. Коллаборативная фильтрация, модели со скрытыми переменными. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture12-recommender.pdf Слайды]]
  
−
Лекция 13 (30.05.2018). Ранжирование. Метрики качества ранжирования. Точечные и попарные методы. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture13-ranking.pdf Слайды]]
+
Лекция 13 (29.05.2018). Ранжирование. Метрики качества ранжирования. Точечные и попарные методы. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture13-ranking.pdf Слайды]]
  
−
Лекция 14 (06.06.2018). Метод опорных векторов. Задача максимизации отступа. Hinge loss. Ядровой переход. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture14-svm.pdf Слайды]]
+
Лекция 14 (05.06.2018). Метод опорных векторов. Задача максимизации отступа. Hinge loss. Ядровой переход. [[https://github.com/esokolov/ml-minor-hse/blob/master/lectures-2018/lecture14-svm.pdf Слайды]]
  
 
==Семинары==
 
==Семинары==
−
 
−
Семинар 1 (17.01.2018). Библиотека для работы с матрицами Numpy.  [[https://github.com/iad-24/seminars/blob/master/materials/hw_sem1_opt.ipynb Необязательное домашнее задание для тренировки]]
 
  
 
== Практические задания ==
 
== Практические задания ==
 
За каждый день просрочки снимается 0.5 балла.
 
За каждый день просрочки снимается 0.5 балла.
−
 
−
[https://github.com/AnastasiaRysmyatova/IAD-1/blob/master/materials/HW1_Username.ipynb Задание 1]. NumPy, Pandas, Matplotlib. Срок сдачи: 13 февраля 23:59
 
−
 
−
[https://github.com/AnastasiaRysmyatova/IAD-1/blob/master/materials/HW2_Username.ipynb Задание 2]. Линейная регрессия, KNN. Срок сдачи: 13  марта 23:59
 
−
 
−
[https://github.com/esokolov/ml-minor-hse/blob/master/homeworks-2018/practice-homework-03.ipynb Задание 3]. Логистическая регрессия, случайный лес. Срок сдачи: 18 мая 23:59
 
−
 
−
[https://github.com/iad-24/seminars/blob/master/materials/practice-homework-04_optional.ipynb Задание 4 (опциональное)]. Визуализация. Срок сдачи: 17 июня 23:59
 
  
 
== Контрольная работа ==
 
== Контрольная работа ==
−
 
−
Контрольная работа состоится 11 апреля во время лекции.
 
−
Аудитории 5306, 5215
 
  
 
Вопросы: https://docs.google.com/document/d/1UG6FJzJ52AEa92iKPu6uVh05RtPDF1zCBTRiuIl3juM/edit?usp=sharing
 
Вопросы: https://docs.google.com/document/d/1UG6FJzJ52AEa92iKPu6uVh05RtPDF1zCBTRiuIl3juM/edit?usp=sharing
Строка 133: Строка 120:
  
 
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)
 
[https://github.com/esokolov/ml-minor-hse/blob/master/exam-2017/exam_problems_example.pdf Примеры задач прошлого года] (также могут войти задачи из коллоквиума)
−
 
−
Если накопленная оценка равна 6 или выше, то можно её автоматом перенести в накопленную. Необходимое условие — оценка за контрольную работу должна быть не ниже 6 баллов.
 
  
 
==Полезные материалы==
 
==Полезные материалы==
Строка 154: Строка 139:
  
 
== Страницы прошлых лет ==
 
== Страницы прошлых лет ==
 +
 +
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2017-2018 | 2017/18 учебный год ]]
  
 
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]
 
[[Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных/2016-2017 | 2016/17 учебный год ]]

Версия 20:58, 15 января 2019

О курсе

Курс читается для студентов 2-го курса майнора ИАД в 3-4 модулях.

Проводится с 2015 года.

Лектор: Соколов Евгений Андреевич

Лекции проходят по средам, 10:30 - 11:50, ауд. 5306 (Шаболовка, 26).


Полезные ссылки

Карточка курса и программа

Репозиторий с материалами на GitHub

Почта для сдачи домашних заданий: hse.minor.dm+<номер группы>@gmail.com (например, hse.minor.dm+3@gmail.com)

Канал в telegram для объявлений: https://telegram.me/hse_minor_intro_dm_2019

Таблица с оценками

Оставить отзыв на курс: форма

Вопросы по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу. Вопросы по материалам лекций лучше всего оформлять в виде Issue в github-репозитории курса.

Семинары

Группа Преподаватель Учебный ассистент Страница Расписание
ИАД-1
ИАД-2
ИАД-3
ИАД-4
ИАД-5

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

  • Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
  • Практические домашние работы на Python
  • Контрольная где-то в середине курса
  • Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Oитоговая = 0.7 * Oнакопленная + 0.3 * Оэкз

Оценка за работу в семестре вычисляется по формуле

Oнакопленная = 0.2 * Oсамостоятельные + 0.6 * Одз + 0.2 * Оконтрольная

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем практическим заданиям.

Правила сдачи заданий

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Файлы со слайдами очень легко скачать с GitHub с помощью кнопки Raw!

Лекция 1 (16.01.2018). Введение в машинное обучение и анализ данных. [Слайды]

Лекция 2 (23.01.2018). Типы задач машинного обучения. Типы признаков. Обобщающая способность и переобучение. Примеры задач анализа данных. [Слайды]

Лекция 3 (30.01.2018). Векторы и матрицы. Норма, метрика и скалярное произведение. Качество классификации, доля верных ответов. Оценивание обобщающей способности, кросс-валидация. Гипотеза компактности. Метод k ближайших соседей. [Слайды]

Лекция 4 (06.02.2018). Метод k ближайших соседей в регрессии. Среднеквадратичная ошибка. Матричное умножение. Производные и градиенты. Экстремумы функций. Обучение линейной регрессии. [Слайды]

Лекция 5 (13.02.2018). Градиентный спуск. Линейные зависимости и мультиколлинеарность. Регуляризация линейных моделей. Масштабирование признаков. [Слайды]

Лекция 6 (20.02.2018). Линейная классификация. Логистическая регрессия. Оценивание вероятностей. Метрики качества классификации: accuracy, precision, recall. [Слайды]

Лекция 7 (27.02.2018). Работа с категориальными признаками. Метрики качества регрессии: MSE, MAE, коэффициент детерминации. Устойчивые оценки. Качество классификации, AUC-PR, AUC-ROC. Параметры и гиперпараметры. [Слайды]

Лекция 8 (13.03.2018). Многоклассовая классификация, подход one-vs-all. Решающие деревья. Критерии информативности. Энтропия и энтропийный критерий для классификации. Гиперпараметры деревьев, борьба с переобучением. [Слайды]

Лекция 9 (20.03.2018). Композиции алгоритмов. Случайные леса [Слайды]

Лекция 10 (17.04.2018). Понижение размерности данных. Отбор признаков: одномерные методы, отбор с помощью моделей. Визуализация данных, t-SNE. [Слайды]

Лекция 11 (24.04.2018). Обучение без учителя. Примеры задач. Кластеризация: K-Means, DBSCAN, графовые методы. Представления слов. [Слайды]

Лекция 12 (15.05.2018). Рекомендательные системы. Коллаборативная фильтрация, модели со скрытыми переменными. [Слайды]

Лекция 13 (29.05.2018). Ранжирование. Метрики качества ранжирования. Точечные и попарные методы. [Слайды]

Лекция 14 (05.06.2018). Метод опорных векторов. Задача максимизации отступа. Hinge loss. Ядровой переход. [Слайды]

Семинары

Практические задания

За каждый день просрочки снимается 0.5 балла.

Контрольная работа

Вопросы: https://docs.google.com/document/d/1UG6FJzJ52AEa92iKPu6uVh05RtPDF1zCBTRiuIl3juM/edit?usp=sharing

Примеры задач:

Экзамен

Вопросы: https://docs.google.com/document/d/1YAleuHWr2Dn1brhiUUkdSkr65mtnhAvgIZxyo6sBt3E/edit?usp=sharing

Примеры задач прошлого года (также могут войти задачи из коллоквиума)

Полезные материалы

Курсы по машинному обучению и анализу данных

Статьи

Книги

  • Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
  • Boris Mirkin. Core Concepts in Data Analysis: Summarization, Correlation, Visualization. 2010.
  • James, Witten, Hastie, Tibshirani. An Introduction to Statistical Learning. 2013.

Страницы прошлых лет

2017/18 учебный год

2016/17 учебный год

2015/16 учебный год

Источник — «http://wiki.cs.hse.ru/index.php?title=Майнор_Интеллектуальный_анализ_данных/Введение_в_анализ_данных&oldid=31770»