НИС Машинное обучение и приложения — различия между версиями
Sbartunov (обсуждение | вклад) |
Tipt0p (обсуждение | вклад) |
||
Строка 8: | Строка 8: | ||
Просьба к теме письма добавлять тег '''[НИС ФКН]'''. | Просьба к теме письма добавлять тег '''[НИС ФКН]'''. | ||
− | |||
− | |||
== Краткое описание == | == Краткое описание == | ||
Строка 64: | Строка 62: | ||
# Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости. | # Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости. | ||
− | ''Полезные ссылки'': [http://statweb.stanford.edu/~tibs/ElemStatLearn/] | + | ''Полезные ссылки'': [http://statweb.stanford.edu/~tibs/ElemStatLearn/ 1], |
− | [http://www.machinelearning.ru/wiki/images/2/25/SMAIS11_SVM.pdf] | + | [http://www.machinelearning.ru/wiki/images/2/25/SMAIS11_SVM.pdf 2], |
− | [http://www.machinelearning.ru/wiki/images/8/8b/MOTP11_3.pdf] | + | [http://www.machinelearning.ru/wiki/images/8/8b/MOTP11_3.pdf 3], |
− | [http://research.microsoft.com/pubs/67119/svmtutorial.pdf] | + | [http://research.microsoft.com/pubs/67119/svmtutorial.pdf 4], |
− | [https://www.economics.utoronto.ca/osborne/MathTutorial/KTCF.HTM] | + | [https://www.economics.utoronto.ca/osborne/MathTutorial/KTCF.HTM 5], |
− | [https://web.stanford.edu/class/ee364a/lectures/duality.pdf] | + | [https://web.stanford.edu/class/ee364a/lectures/duality.pdf 6], |
− | [https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf] | + | [https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf 7], |
− | [http://www.youtube.com/watch?v=FJVmflArCXc] | + | [http://www.youtube.com/watch?v=FJVmflArCXc 8]. |
'''Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход''' | '''Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход''' | ||
Строка 93: | Строка 91: | ||
См. список материалов к предыдущему семинару. | См. список материалов к предыдущему семинару. | ||
+ | |||
'''Практическое задание'''. Классификация изображений. [[НИС Машинное обучение и приложения/Практическое задание|Описание]]. | '''Практическое задание'''. Классификация изображений. [[НИС Машинное обучение и приложения/Практическое задание|Описание]]. | ||
+ | |||
+ | |||
+ | '''Семинар 8. Конференции и текущие популярные направления в машинном обучении''' | ||
+ | |||
+ | '''Семинар 9. Методы кластеризации''' | ||
+ | |||
+ | ''План доклада:'' | ||
+ | |||
+ | # Задача кластеризации. Отличия от задачи классификации. Неоднозначность/возможность разных постановок задачи. | ||
+ | # Функция близости/расстояния, ее свойства, подробно рассмотреть неравенство треугольника и проблемы, к которым оно может приводить. В качестве примера можно рассмотреть тройку объектов: человек, лошадь и кентавр. Привести примеры функций близости/расстояния кроме евклидового для различных типов объектов. | ||
+ | # Иерархические алгоритмы кластеризации. Построение иерархии снизу вверх и сверху вниз, преимущества и недостатки обоих подходов. | ||
+ | # Алгоритм k-средних. Оптимизируемая функция потерь, алгоритмическая сложность глобальной минимизации данной функции. Алгоритм k-средних как метод локальной покоординатной оптимизации, доказательство сходимости, зависимость от инициализации. Подбор числа кластеров. | ||
+ | # EM-алгоритм для смеси гауссиан. Многомерное нормальное распределение, его параметры и их смысл. Описания кластера с помощью нормального распределения, связь правдоподобия нормального распределения и евклидового расстояния. Оптимизируемая функция потерь/качества (логарифм неполного правдоподобия или обоснованность модели). Сложность оптимизации подобной функции в явном виде. EM-алгоритм как строгое обобщения алгоритма k-means. | ||
+ | |||
+ | ''Полезные ссылки'': [http://www.machinelearning.ru/wiki/images/3/33/BayesML2010-EM.pdf 1], | ||
+ | [https://www.cs.duke.edu/courses/fall07/cps271/EM.pdf 2], | ||
+ | [http://mlg.eng.cam.ac.uk/tutorials/06/cb.pdf 3], | ||
+ | [http://statweb.stanford.edu/~tibs/stat315a/LECTURES/em.pdf 4]. |
Версия 17:34, 25 января 2016
Таблица с расписание семинаров здесь
Контакты:
- Ветров Дмитрий Петрович DVetrov@hse.ru
- Лобачева Екатерина Максимовна elobacheva@hse.ru
- Бартунов Сергей Олегович sbos.net@gmail.com
Просьба к теме письма добавлять тег [НИС ФКН].
Краткое описание
В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.
Темы семинаров
Семинар 1. Машинное обучение и история его развития.
Семинар 2. Научный метод.
Основные моменты: Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.
Полезные ссылки: 1, 2, 3 + глава 22 из Гарри Поттера и методов рацмышления
Семинар 3.1. Как сделать качественную презентацию.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 3.2. Как не нужно работать с данными.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 4. Линейная регрессия.
В докладе следует осветить следующие основные моменты:
- Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
- Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
- Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
- Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
- Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
- Обсудить другие функции потерь, например, L1.
Полезные ссылки: 1, 2 (главы 2 и 3), 3, 4, 5, 6, 7, 8
Семинар 5. Метод опорных векторов. Линейно-разделимый случай
План доклада:
- Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
- Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
- Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
- Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
- Вывод величины зазора через вектор нормали гиперплоскости
- Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
- Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
- Двойственная функция, возникающая при обучении SVM.
- Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7, 8.
Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход
План доклада:
- Краткое напоминание основных результатов предыдущего семинара:
- постановка задачи бинарной классификации
- вид решающего правила и его геометрический смысл
- принцип максимизации зазора
- прямая и двойственная задачи оптимизации
- Ослабление предположения о линейной разделимости выборки
- изменение задачи оптимизаци
- решение двойственной задачи оптимизации
- вывод функции потерь SVM (hinge loss)
- Ядровой переход
- формальная замена скалярного произведения на функцию ядра
- свойства скалярного произведения
- примеры ядер с объяснением их свойств и параметров
- способы определения новых ядер
См. список материалов к предыдущему семинару.
Практическое задание. Классификация изображений. Описание.
Семинар 8. Конференции и текущие популярные направления в машинном обучении
Семинар 9. Методы кластеризации
План доклада:
- Задача кластеризации. Отличия от задачи классификации. Неоднозначность/возможность разных постановок задачи.
- Функция близости/расстояния, ее свойства, подробно рассмотреть неравенство треугольника и проблемы, к которым оно может приводить. В качестве примера можно рассмотреть тройку объектов: человек, лошадь и кентавр. Привести примеры функций близости/расстояния кроме евклидового для различных типов объектов.
- Иерархические алгоритмы кластеризации. Построение иерархии снизу вверх и сверху вниз, преимущества и недостатки обоих подходов.
- Алгоритм k-средних. Оптимизируемая функция потерь, алгоритмическая сложность глобальной минимизации данной функции. Алгоритм k-средних как метод локальной покоординатной оптимизации, доказательство сходимости, зависимость от инициализации. Подбор числа кластеров.
- EM-алгоритм для смеси гауссиан. Многомерное нормальное распределение, его параметры и их смысл. Описания кластера с помощью нормального распределения, связь правдоподобия нормального распределения и евклидового расстояния. Оптимизируемая функция потерь/качества (логарифм неполного правдоподобия или обоснованность модели). Сложность оптимизации подобной функции в явном виде. EM-алгоритм как строгое обобщения алгоритма k-means.