НИС Машинное обучение и приложения — различия между версиями

Версия 15:21, 2 ноября 2015

Таблица с расписание семинаров здесь

Контакты:

• Ветров Дмитрий Петрович DVetrov@hse.ru
• Лобачева Екатерина Максимовна elobacheva@hse.ru
• Бартунов Сергей Олегович sbos.net@gmail.com

Просьба к теме письма добавлять тег [НИС ФКН].

Новости:

• Докладчик по теме "Как не нужно работать с данными" из первой группы заболел, поэтому семинар 7 октября был коротким. Доклад по этой теме для студентов первой группы будет проходить вместе с второй группой 14 октября.

Краткое описание

В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.

Темы семинаров

Семинар 1. Машинное обучение и история его развития.

Семинар 2. Научный метод.

Основные моменты: Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.

Полезные ссылки: 1, 2, 3 + глава 22 из Гарри Поттера и методов рацмышления

Семинар 3.1. Как сделать качественную презентацию.

Полезные ссылки: 1, 2, 3, 4, 5, 6, 7

Семинар 3.2. Как не нужно работать с данными.

Полезные ссылки: 1, 2, 3, 4, 5, 6, 7

Семинар 4. Линейная регрессия.

В докладе следует осветить следующие основные моменты:

1. Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
2. Привести несколько примеров из жизни, где подобная задача возникает
3. Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
4. Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
5. Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
6. Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
7. Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
8. Обсудить другие функции потерь, например, L1.

Полезные ссылки: 1, 2 (главы 2 и 3), 3, 4, 5, 6, 7, 8

Семинар 5. Метод опорных векторов. Линейно-разделимый случай

План доклада:

1. Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
2. Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
3. Привести несколько примеров из жизни, где подобная задача возникает
4. Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
5. Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
6. Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
7. Вывод величины зазора через вектор нормали гиперплоскости
8. Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
9. Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
10. Двойственная функция, возникающая при обучении SVM.
11. Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.

Полезные ссылки: [1] [2] [3] [4] [5] [6] [7] [8]