НИС Машинное обучение и приложения — различия между версиями
Tipt0p (обсуждение | вклад) |
Sbartunov (обсуждение | вклад) |
||
Строка 47: | Строка 47: | ||
''Полезные ссылки:'' [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 1], [http://statweb.stanford.edu/~tibs/ElemStatLearn/ 2] (главы 2 и 3), [http://research.microsoft.com/en-us/um/people/cmbishop/PRML/ 3], [https://www.cs.ubc.ca/~murphyk/MLbook/ 4], [http://scott.fortmann-roe.com/docs/BiasVariance.html 5], [http://web.engr.oregonstate.edu/~xfern/classes/cs534/notes/Linear-Regression-3-11.pdf 6], [http://eniac.cs.qc.cuny.edu/andrew/gcml/lecture5.pdf 7], [http://cs229.stanford.edu/notes/cs229-notes1.pdf 8] | ''Полезные ссылки:'' [http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_%28курс_лекций%2C_К.В.Воронцов%29 1], [http://statweb.stanford.edu/~tibs/ElemStatLearn/ 2] (главы 2 и 3), [http://research.microsoft.com/en-us/um/people/cmbishop/PRML/ 3], [https://www.cs.ubc.ca/~murphyk/MLbook/ 4], [http://scott.fortmann-roe.com/docs/BiasVariance.html 5], [http://web.engr.oregonstate.edu/~xfern/classes/cs534/notes/Linear-Regression-3-11.pdf 6], [http://eniac.cs.qc.cuny.edu/andrew/gcml/lecture5.pdf 7], [http://cs229.stanford.edu/notes/cs229-notes1.pdf 8] | ||
+ | |||
+ | '''Семинар 5. Метод опорных векторов. Линейно-разделимый случай''' | ||
+ | |||
+ | ''План доклада:'' | ||
+ | |||
+ | # Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями. | ||
+ | # Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай. | ||
+ | # Привести несколько примеров из жизни, где подобная задача возникает | ||
+ | # Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость). | ||
+ | # Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь. | ||
+ | # Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке. | ||
+ | # Вывод величины зазора через вектор нормали гиперплоскости | ||
+ | # Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки. | ||
+ | # Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа. | ||
+ | # Двойственная функция, возникающая при обучении SVM. | ||
+ | # Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости. | ||
+ | |||
+ | ''Полезные ссылки'': [http://statweb.stanford.edu/~tibs/ElemStatLearn/] | ||
+ | [http://www.machinelearning.ru/wiki/images/2/25/SMAIS11_SVM.pdf] | ||
+ | [http://www.machinelearning.ru/wiki/images/8/8b/MOTP11_3.pdf] | ||
+ | [http://research.microsoft.com/pubs/67119/svmtutorial.pdf] | ||
+ | [https://www.economics.utoronto.ca/osborne/MathTutorial/KTCF.HTM] | ||
+ | [https://web.stanford.edu/class/ee364a/lectures/duality.pdf] | ||
+ | [https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf] | ||
+ | [http://www.youtube.com/watch?v=FJVmflArCXc] |
Версия 15:21, 2 ноября 2015
Таблица с расписание семинаров здесь
Контакты:
- Ветров Дмитрий Петрович DVetrov@hse.ru
- Лобачева Екатерина Максимовна elobacheva@hse.ru
- Бартунов Сергей Олегович sbos.net@gmail.com
Просьба к теме письма добавлять тег [НИС ФКН].
Новости:
- Докладчик по теме "Как не нужно работать с данными" из первой группы заболел, поэтому семинар 7 октября был коротким. Доклад по этой теме для студентов первой группы будет проходить вместе с второй группой 14 октября.
Краткое описание
В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.
Темы семинаров
Семинар 1. Машинное обучение и история его развития.
Семинар 2. Научный метод.
Основные моменты: Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.
Полезные ссылки: 1, 2, 3 + глава 22 из Гарри Поттера и методов рацмышления
Семинар 3.1. Как сделать качественную презентацию.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 3.2. Как не нужно работать с данными.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 4. Линейная регрессия.
В докладе следует осветить следующие основные моменты:
- Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
- Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
- Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
- Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
- Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
- Обсудить другие функции потерь, например, L1.
Полезные ссылки: 1, 2 (главы 2 и 3), 3, 4, 5, 6, 7, 8
Семинар 5. Метод опорных векторов. Линейно-разделимый случай
План доклада:
- Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
- Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
- Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
- Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
- Вывод величины зазора через вектор нормали гиперплоскости
- Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
- Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
- Двойственная функция, возникающая при обучении SVM.
- Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.