Minor da2016 gr3 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
 
(не показаны 44 промежуточные версии этого же участника)
Строка 7: Строка 7:
 
При обращении по почте, начинайте тему письма со слов ''[Майнор ИАД 2016]''
 
При обращении по почте, начинайте тему письма со слов ''[Майнор ИАД 2016]''
  
−
'''Пройдите [https://docs.google.com/forms/d/1e_-EB5AOvE4zOgXVN-DGV67tUPxvO8m4B3IVYE4ZAxo/viewform?c=0&w=1 опрос!]'''<br/><br/>
+
''' [http://wiki.cs.hse.ru/%D0%9C%D0%B0%D0%B9%D0%BD%D0%BE%D1%80_%D0%98%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85#.D0.9A.D0.BE.D0.BB.D0.BB.D0.BE.D0.BA.D0.B2.D0.B8.D1.83.D0.BC Страница] курса''' <br/>
−
'''Таблица с результатами''' содержится [https://drive.google.com/open?id=1Ab8RR942JAaoJyHpIcR7j9yIqgumyfReuMsHWd3Au8I здесь]<br/><br/>
+
'''[https://docs.google.com/document/d/1WRtQqhegOwV1l7McyJAm-y4ql65B_6dY3z5YkRgpe1k/edit Вопросы к экзамену]'''<br/>
 +
'''Пройдите [https://docs.google.com/forms/d/1e_-EB5AOvE4zOgXVN-DGV67tUPxvO8m4B3IVYE4ZAxo/viewform?c=0&w=1 опрос!]'''<br/>
 +
'''Таблица с результатами''' содержится [https://drive.google.com/open?id=1Ab8RR942JAaoJyHpIcR7j9yIqgumyfReuMsHWd3Au8I здесь]<br/>
 
'''Анонимные''' комментарии, замечания и пожелания можно оставить [https://docs.google.com/forms/d/1JevHn2TS5KD83KLNbwbstDUgOjF7dZ8SaY0pLeRTTIw/viewform здесь]<br/>
 
'''Анонимные''' комментарии, замечания и пожелания можно оставить [https://docs.google.com/forms/d/1JevHn2TS5KD83KLNbwbstDUgOjF7dZ8SaY0pLeRTTIw/viewform здесь]<br/>
  
 
== Семинары ==
 
== Семинары ==
−
''' 12 Января 2016:''' Введение в Python, настройка среды программирования - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/setting_ur_env.ipynb IPython Notebook] <br/>
+
'''1) 12 Января 2016:''' Введение в Python, настройка среды программирования - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/setting_ur_env.ipynb IPython Notebook] <br/>
−
''' 19 Января 2016:''' Исследование данных с помощью Pandas и Seaborn - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_with_pandas_seaborn.ipynb IPython Notebook] <br/>
+
'''2) 19 Января 2016:''' Исследование данных с помощью Pandas и Seaborn - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_with_pandas_seaborn.ipynb IPython Notebook] <br/>
−
''' 26 Января 2016:''' Элементы работы с матрицами. Меры расстояний и сходства - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_with_matrices.ipynb IPython Notebook] <br/>
+
'''3) 26 Января 2016:''' Элементы работы с матрицами. Меры расстояний и сходства - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_with_matrices.ipynb IPython Notebook] <br/>
−
''' 2 Февраля 2016:''' Оптимизация функций. Символьные вычисления - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_and_opt.ipynb IPython Notebook] <br/>
+
'''4) 2 Февраля 2016:''' Оптимизация функций. Символьные вычисления - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_and_opt.ipynb IPython Notebook] <br/>
−
''' 9 Февраля 2016:''' Вероятность и мат. статистика, ч. 1  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_prob_stat1.ipynb IPython Notebook] <br/>
+
'''5) 9 Февраля 2016:''' Вероятность и мат. статистика, ч. 1  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_prob_stat1.ipynb IPython Notebook] <br/>
−
''' 16 Февраля 2016:''' Вероятность и мат. статистика, ч. 2  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_prob_stat2.ipynb IPython Notebook] <br/>
+
'''6) 16 Февраля 2016:''' Вероятность и мат. статистика, ч. 2  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/da_prob_stat2.ipynb IPython Notebook] <br/>
−
''' 1 Марта 2016:''' Линейная регрессия  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/lin_regression.ipynb IPython Notebook] <br/>
+
'''7) 1 Марта 2016:''' Линейная регрессия  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/lin_regression.ipynb IPython Notebook] <br/>
 +
'''8) 15 Марта 2016:''' Линейные методы классификации  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/classification.ipynb IPython Notebook] <br/>
 +
'''9) 22 Марта 2016:''' + оценка качества, кросс-валидация  - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/classification_plus.ipynb IPython Notebook] <br/>
 +
'''10) 5 Апреля 2016:''' Консультация перед коллоквиумом <br/>
 +
'''11) 19 Апреля 2016:''' Деревья решений - [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/dec_trees.ipynb IPython Notebook] <br/>
 +
'''12) 26 Апреля 2016:''' Разбор одного проекта [http://nbviewer.jupyter.org/github/esokolov/ml-course-msu/blob/master/ML15-spring/contests/contest01-dota/contest01-dota-statement.ipynb IPython Notebook], [https://www.dropbox.com/s/fgojcww4nfvw8ik/features.csv?dl=0 Данные]<br/>
 +
'''13) 10 Мая 2016''' Ансамблевые методы. Методы понижения размерности данных [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/ensembles_dim_reduction.ipynb IPython Notebook] <br/>
 +
'''14) 17 Мая 2016''' Работа в программе [http://orange.biolab.si/ Orange] [https://github.com/shestakoff/minor_da_16/blob/master/orange_sem_170516.ows Orange File]<br/>
 +
'''15) 24 Мая 2016''' Кластеризация [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/clustering.ipynb IPython Notebook] <br/>
 +
'''16) 31 Мая 2016''' Метрические методы [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/knn.ipynb IPython Notebook] [http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/knn_seminar_sol.ipynb Решение с семинара]  <br/>
 +
'''17) 7 Июня 2016''' Ассоциативные правила и частые множества признаков  <br/>
 +
'''17) 14 Июня 2016''' Презентации проектов  <br/>
 +
'''17) 21 Июня 2016''' Экзамен  <br/>
  
 
== Домашние Задания ==
 
== Домашние Задания ==
Строка 24: Строка 38:
 
[http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/hw2.ipynb ДЗ 2]. ''Срок - 20 февраля 2016'' <br/>
 
[http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/hw2.ipynb ДЗ 2]. ''Срок - 20 февраля 2016'' <br/>
 
[http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/hw3.ipynb ДЗ 3]. ''Срок - 4 марта 2016'' <br/>
 
[http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/hw3.ipynb ДЗ 3]. ''Срок - 4 марта 2016'' <br/>
 +
[http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/hw4_short.ipynb ДЗ 4]. ''Срок - 20 мая 2016'' <br/>
 +
[http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/hw5.ipynb ДЗ 5]. ''Срок - 8 июня 2016'' <br/>
 +
 +
== Проект ==
 +
[http://nbviewer.jupyter.org/github/shestakoff/minor_da_16/blob/master/project_task.ipynb '''Задание на проект'''] <br/>
 +
Согласование состава группы и набора данных: 25.03.2016 23:59 <br/>
 +
Срок сдачи первой части: 11.04.2016 23:59 <br/>
 +
Срок сдачи второй части: 10 дней до даты защиты проекта <br/>
  
 
== Полезные ссылки (Будут пополняться) ==
 
== Полезные ссылки (Будут пополняться) ==
−
=== Семинар 7 ===
+
''' Семинар 16'''
 +
 
 +
# [http://www.visiondummy.com/2014/04/curse-dimensionality-affect-classification/ Curse of Dimensionality]
 +
 
 +
''' Семинар 12'''
 +
 
 +
''Ensemble methods''
 +
# [https://en.wikipedia.org/wiki/Ensemble_learning Ensemble Learning Wikipedia]
 +
# [http://scikit-learn.org/stable/modules/ensemble.html Sklearn Ensemble Learning]
 +
# [http://www.cs.umd.edu/class/spring2006/cmsc726/Lectures/EnsembleMethods.pdf Bias-Variance and Ensemble Methods]
 +
 
 +
''Feature Selection\Dimention Reduction''
 +
# [http://research.microsoft.com/pubs/150728/FnT_dimensionReduction.pdf Dimention Reduction Overview]
 +
# [http://blog.datadive.net/selecting-good-features-part-i-univariate-selection/ Publication on Feature Selection ]
 +
 
 +
''' Семинар 9 '''
 +
# [https://ccrma.stanford.edu/workshops/mir2009/references/ROCintro.pdf ROC-Curve Introduction]
 +
# [http://scikit-learn.org/stable/modules/cross_validation.html sklearn Cross-Validation Routines]
 +
 
 +
''' Семинар 8 '''
 +
# [http://aimotion.blogspot.ru/2011/11/machine-learning-with-python-logistic.html On Logistic Regression with examples]
 +
# [http://www.stat.cmu.edu/~cshalizi/350/lectures/25/lecture-25.pdf Perceptron Algorithm]
 +
# [http://www.eecs.yorku.ca/course_archive/2012-13/F/4404-5327/lectures/05%20Linear%20Classifiers.pdf On Linear Classifiers]
 +
 
 +
''' Семинар 7 '''
 
# [http://scikit-learn.org/stable/modules/linear_model.html Sklearn Linear Models]
 
# [http://scikit-learn.org/stable/modules/linear_model.html Sklearn Linear Models]
−
# [http://statsmodels.sourceforge.net/devel/examples/ Statmodels examples]
+
# [http://statsmodels.sourceforge.net/devel/examples/ Statmodels Examples]
  
−
=== Семинар 6 ===
+
''' Семинар 6'''
 
# [http://docs.scipy.org/doc/scipy/reference/stats.html SciPy Stats reference]  
 
# [http://docs.scipy.org/doc/scipy/reference/stats.html SciPy Stats reference]  
  
−
=== Семинар 5 ===
+
''' Семинар 5 '''
 
# [https://www.fourmilab.ch/rpkp/experiments/statistics.html Good Intro to Probability and Statistics]
 
# [https://www.fourmilab.ch/rpkp/experiments/statistics.html Good Intro to Probability and Statistics]
 
# [http://static1.squarespace.com/static/54bf3241e4b0f0d81bf7ff36/t/55e9494fe4b011aed10e48e5/1441352015658/probability_cheatsheet.pdf Probability Cheat-Sheet]
 
# [http://static1.squarespace.com/static/54bf3241e4b0f0d81bf7ff36/t/55e9494fe4b011aed10e48e5/1441352015658/probability_cheatsheet.pdf Probability Cheat-Sheet]
Строка 39: Строка 85:
 
# [http://www.lancaster.ac.uk/pg/jamest/Group/stats2.html Monte-Carlo]
 
# [http://www.lancaster.ac.uk/pg/jamest/Group/stats2.html Monte-Carlo]
  
−
=== Семинар 4 ===
+
''' Семинар 4 '''
−
''' Optimization '''
+
 
 +
'' Optimization ''
 
# [https://www.coursera.org/learn/machine-learning/lecture/8SpIM/gradient-descent Gradient Descent - Coursera]
 
# [https://www.coursera.org/learn/machine-learning/lecture/8SpIM/gradient-descent Gradient Descent - Coursera]
 
# [http://cs229.stanford.edu/notes/cs229-notes1.pdf Regression Lecture Notes]
 
# [http://cs229.stanford.edu/notes/cs229-notes1.pdf Regression Lecture Notes]
Строка 46: Строка 93:
 
# [http://matplotlib.org/mpl_toolkits/mplot3d/tutorial.html 3D plotting in Matplotlib]
 
# [http://matplotlib.org/mpl_toolkits/mplot3d/tutorial.html 3D plotting in Matplotlib]
  
−
=== Семинар 3 ===
+
''' Семинар 3 '''
−
''' Probability And Linear Algebra '''
+
 
 +
'' Probability And Linear Algebra ''
 
# [http://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf Matrix Cookbook]
 
# [http://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf Matrix Cookbook]
 
# [http://arxiv.org/pdf/1404.1100.pdf PCA Tutorial]
 
# [http://arxiv.org/pdf/1404.1100.pdf PCA Tutorial]
 
# [http://www4.ncsu.edu/~swu6/documents/A-probability-and-statistics-cheatsheet.pdf Probability & Statistics Cheat-Sheet]
 
# [http://www4.ncsu.edu/~swu6/documents/A-probability-and-statistics-cheatsheet.pdf Probability & Statistics Cheat-Sheet]
  
−
=== Семинар 2 ===
+
''' Семинар 2 '''
−
''' Pandas & Seaborn'''
+
 
 +
'' Pandas & Seaborn ''
 
# [http://pandas.pydata.org/ Pandas]
 
# [http://pandas.pydata.org/ Pandas]
 
# [http://www.analyticsvidhya.com/blog/2015/07/11-steps-perform-data-analysis-pandas-python/ Pandas Cheat-Sheet]
 
# [http://www.analyticsvidhya.com/blog/2015/07/11-steps-perform-data-analysis-pandas-python/ Pandas Cheat-Sheet]
Строка 59: Строка 108:
 
# [http://stanford.edu/~mwaskom/software/seaborn/ Seaborn]
 
# [http://stanford.edu/~mwaskom/software/seaborn/ Seaborn]
  
−
''' Наборы данных '''  
+
'' Наборы данных ''  
 
# [http://data.gov.ru/ Портал Открытых Данных РФ]
 
# [http://data.gov.ru/ Портал Открытых Данных РФ]
 
# [http://blog.yhat.com/posts/7-funny-datasets.html Funny Datasets]
 
# [http://blog.yhat.com/posts/7-funny-datasets.html Funny Datasets]
 
# [https://github.com/caesar0301/awesome-public-datasets Сборник Открытых Данных (!!!)]
 
# [https://github.com/caesar0301/awesome-public-datasets Сборник Открытых Данных (!!!)]
 +
# [http://homepages.inf.ed.ac.uk/rbf/CVonline/Imagedbase.htm Еще наборы данных]
  
−
''' FYI '''  
+
'' FYI ''
 
# [http://tylervigen.com/spurious-correlations Spurious Correlations]
 
# [http://tylervigen.com/spurious-correlations Spurious Correlations]
 
# [https://xkcd.com/552/ Correlation]
 
# [https://xkcd.com/552/ Correlation]
  
−
=== Семинар 1 ===
+
''' Семинар 1 '''
−
''' Python '''
+
 
 +
'' Python ''
 
# [https://www.pkimber.net/open/_downloads/pep8_cheat.pdf PEP-8 Code Style Guide Cheat-sheet]
 
# [https://www.pkimber.net/open/_downloads/pep8_cheat.pdf PEP-8 Code Style Guide Cheat-sheet]
 
# [http://www.tutorialspoint.com/python/ Python Tutorials Point]
 
# [http://www.tutorialspoint.com/python/ Python Tutorials Point]
Строка 78: Строка 129:
 
# [https://www.yhat.com/products/rodeo yhat Rodeo]
 
# [https://www.yhat.com/products/rodeo yhat Rodeo]
  
−
''' Ресурсы и Книги '''  
+
'' Ресурсы и Книги ''  
 
# [http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf James, Witten, Hastie, Tibshirani — An Introduction to Statistical Learning]
 
# [http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf James, Witten, Hastie, Tibshirani — An Introduction to Statistical Learning]
 
# [http://www.springer.com/br/book/9780387310732 Bishop — Pattern Recognition and Machine Learning (первые главы)]
 
# [http://www.springer.com/br/book/9780387310732 Bishop — Pattern Recognition and Machine Learning (первые главы)]
Строка 84: Строка 135:
 
# [https://www.kaggle.com/ Kaggle]
 
# [https://www.kaggle.com/ Kaggle]
 
# [http://archive.ics.uci.edu/ml/ UCI Repo]
 
# [http://archive.ics.uci.edu/ml/ UCI Repo]
 +
# [http://www.r2d3.us/visual-intro-to-machine-learning-part-1/ Visual Intro to ML]
  
 
''' Онлайн Курсы '''
 
''' Онлайн Курсы '''

Текущая версия на 23:36, 13 июня 2016

Майнор по Анализу Данных -- ИАД-3

На данной странице будут вывешиваться последние новости и материалы для семинарских занятий группы ИАД-3

Семинарист: Шестаков Андрей shestakoffandrey@gmail.com
При обращении по почте, начинайте тему письма со слов [Майнор ИАД 2016]

Страница курса
Вопросы к экзамену
Пройдите опрос!
Таблица с результатами содержится здесь
Анонимные комментарии, замечания и пожелания можно оставить здесь

Семинары

1) 12 Января 2016: Введение в Python, настройка среды программирования - IPython Notebook
2) 19 Января 2016: Исследование данных с помощью Pandas и Seaborn - IPython Notebook
3) 26 Января 2016: Элементы работы с матрицами. Меры расстояний и сходства - IPython Notebook
4) 2 Февраля 2016: Оптимизация функций. Символьные вычисления - IPython Notebook
5) 9 Февраля 2016: Вероятность и мат. статистика, ч. 1 - IPython Notebook
6) 16 Февраля 2016: Вероятность и мат. статистика, ч. 2 - IPython Notebook
7) 1 Марта 2016: Линейная регрессия - IPython Notebook
8) 15 Марта 2016: Линейные методы классификации - IPython Notebook
9) 22 Марта 2016: + оценка качества, кросс-валидация - IPython Notebook
10) 5 Апреля 2016: Консультация перед коллоквиумом
11) 19 Апреля 2016: Деревья решений - IPython Notebook
12) 26 Апреля 2016: Разбор одного проекта IPython Notebook, Данные
13) 10 Мая 2016 Ансамблевые методы. Методы понижения размерности данных IPython Notebook
14) 17 Мая 2016 Работа в программе Orange Orange File
15) 24 Мая 2016 Кластеризация IPython Notebook
16) 31 Мая 2016 Метрические методы IPython Notebook Решение с семинара
17) 7 Июня 2016 Ассоциативные правила и частые множества признаков
17) 14 Июня 2016 Презентации проектов
17) 21 Июня 2016 Экзамен

Домашние Задания

ДЗ 1. Срок - 2 февраля 2016
ДЗ 2. Срок - 20 февраля 2016
ДЗ 3. Срок - 4 марта 2016
ДЗ 4. Срок - 20 мая 2016
ДЗ 5. Срок - 8 июня 2016

Проект

Задание на проект
Согласование состава группы и набора данных: 25.03.2016 23:59
Срок сдачи первой части: 11.04.2016 23:59
Срок сдачи второй части: 10 дней до даты защиты проекта

Полезные ссылки (Будут пополняться)

Семинар 16

  1. Curse of Dimensionality

Семинар 12

Ensemble methods

  1. Ensemble Learning Wikipedia
  2. Sklearn Ensemble Learning
  3. Bias-Variance and Ensemble Methods

Feature Selection\Dimention Reduction

  1. Dimention Reduction Overview
  2. Publication on Feature Selection

Семинар 9

  1. ROC-Curve Introduction
  2. sklearn Cross-Validation Routines

Семинар 8

  1. On Logistic Regression with examples
  2. Perceptron Algorithm
  3. On Linear Classifiers

Семинар 7

  1. Sklearn Linear Models
  2. Statmodels Examples

Семинар 6

  1. SciPy Stats reference

Семинар 5

  1. Good Intro to Probability and Statistics
  2. Probability Cheat-Sheet
  3. Naive Bayes
  4. Monte-Carlo

Семинар 4

Optimization

  1. Gradient Descent - Coursera
  2. Regression Lecture Notes
  3. Optimization Methods in Scipy
  4. 3D plotting in Matplotlib

Семинар 3

Probability And Linear Algebra

  1. Matrix Cookbook
  2. PCA Tutorial
  3. Probability & Statistics Cheat-Sheet

Семинар 2

Pandas & Seaborn

  1. Pandas
  2. Pandas Cheat-Sheet
  3. Pandas Visualization
  4. Seaborn

Наборы данных

  1. Портал Открытых Данных РФ
  2. Funny Datasets
  3. Сборник Открытых Данных (!!!)
  4. Еще наборы данных

FYI

  1. Spurious Correlations
  2. Correlation

Семинар 1

Python

  1. PEP-8 Code Style Guide Cheat-sheet
  2. Python Tutorials Point
  3. Matplotlib Tutorial
  4. Matrix Manipulation Cheat-sheet
  5. Ipython Notebook
  6. Beaker Notebook
  7. yhat Rodeo

Ресурсы и Книги

  1. James, Witten, Hastie, Tibshirani — An Introduction to Statistical Learning
  2. Bishop — Pattern Recognition and Machine Learning (первые главы)
  3. MachineLearning.ru
  4. Kaggle
  5. UCI Repo
  6. Visual Intro to ML

Онлайн Курсы

  1. Andrew Ng's Course
  2. Introduction to ML
  3. Learning Data Science with Python
  4. Курс от ВШЭ
  5. Обзор МООС Курсов
Источник — «http://wiki.cs.hse.ru/index.php?title=Minor_da2016_gr3&oldid=19734»