НИС Машинное обучение и приложения

Таблица с расписание семинаров здесь

Контакты:

• Ветров Дмитрий Петрович DVetrov@hse.ru
• Лобачева Екатерина Максимовна elobacheva@hse.ru
• Бартунов Сергей Олегович sbos.net@gmail.com

Просьба к теме письма добавлять тег [НИС ФКН].

Новости:

• Докладчик по теме "Как не нужно работать с данными" из первой группы заболел, поэтому семинар 7 октября был коротким. Доклад по этой теме для студентов первой группы будет проходить вместе с второй группой 14 октября.

Краткое описание

В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.

Темы семинаров

Семинар 1. Машинное обучение и история его развития.

Семинар 2. Научный метод.

Основные моменты: Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.

Полезные ссылки: 1, 2, 3 + глава 22 из Гарри Поттера и методов рацмышления

Семинар 3.1. Как сделать качественную презентацию.

Полезные ссылки: 1, 2, 3, 4, 5, 6, 7

Семинар 3.2. Как не нужно работать с данными.

Полезные ссылки: 1, 2, 3, 4, 5, 6, 7

Семинар 4. Линейная регрессия.

В докладе следует осветить следующие основные моменты:

1. Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
2. Привести несколько примеров из жизни, где подобная задача возникает
3. Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
4. Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
5. Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
6. Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
7. Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
8. Обсудить другие функции потерь, например, L1.

Полезные ссылки: 1, 2 (главы 2 и 3), 3, 4, 5, 6, 7, 8

Семинар 5. Метод опорных векторов. Линейно-разделимый случай

План доклада:

1. Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
2. Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
3. Привести несколько примеров из жизни, где подобная задача возникает
4. Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
5. Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
6. Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
7. Вывод величины зазора через вектор нормали гиперплоскости
8. Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
9. Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
10. Двойственная функция, возникающая при обучении SVM.
11. Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.

Полезные ссылки: [1] [2] [3] [4] [5] [6] [7] [8]

Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход

План доклада:

1. Краткое напоминание основных результатов предыдущего семинара:
   1. постановка задачи бинарной классификации
   2. вид решающего правила и его геометрический смысл
   3. принцип максимизации зазора
   4. прямая и двойственная задачи оптимизации
2. Ослабление предположения о линейной разделимости выборки
   1. изменение задачи оптимизаци
   2. решение двойственной задачи оптимизации
   3. вывод функции потерь SVM (hinge loss)
3. Ядровой переход
   1. формальная замена скалярного произведения на функцию ядра
   2. свойства скалярного произведения
   3. примеры ядер с объяснением их свойств и параметров
   4. способы определения новых ядер

См. список материалов к предыдущему семинару.

Практическое задание. Классификация изображений. Описание.