НИС Машинное обучение и приложения
Таблица с расписание семинаров здесь
Контакты:
- Ветров Дмитрий Петрович DVetrov@hse.ru
- Лобачева Екатерина Максимовна elobacheva@hse.ru
- Бартунов Сергей Олегович sbos.net@gmail.com
Просьба к теме письма добавлять тег [НИС ФКН].
Краткое описание
В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.
Темы семинаров
Семинар 1. Машинное обучение и история его развития.
Семинар 2. Научный метод.
Основные моменты: Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.
Полезные ссылки: 1, 2, 3 + глава 22 из Гарри Поттера и методов рацмышления
Семинар 3.1. Как сделать качественную презентацию.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 3.2. Как не нужно работать с данными.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 4. Линейная регрессия.
В докладе следует осветить следующие основные моменты:
- Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
- Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
- Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
- Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
- Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
- Обсудить другие функции потерь, например, L1.
Полезные ссылки: 1, 2 (главы 2 и 3), 3, 4, 5, 6, 7, 8
Семинар 5. Метод опорных векторов. Линейно-разделимый случай
План доклада:
- Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
- Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
- Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
- Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
- Вывод величины зазора через вектор нормали гиперплоскости
- Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
- Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
- Двойственная функция, возникающая при обучении SVM.
- Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7, 8.
Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход
План доклада:
- Краткое напоминание основных результатов предыдущего семинара:
- постановка задачи бинарной классификации
- вид решающего правила и его геометрический смысл
- принцип максимизации зазора
- прямая и двойственная задачи оптимизации
- Ослабление предположения о линейной разделимости выборки
- изменение задачи оптимизаци
- решение двойственной задачи оптимизации
- вывод функции потерь SVM (hinge loss)
- Ядровой переход
- формальная замена скалярного произведения на функцию ядра
- свойства скалярного произведения
- примеры ядер с объяснением их свойств и параметров
- способы определения новых ядер
См. список материалов к предыдущему семинару.
Практическое задание. Классификация изображений. Описание.
Семинар 8. Конференции и современные результаты в машинном обучении
Семинар 9. Методы кластеризации
План доклада:
- Задача кластеризации. Отличия от задачи классификации. Неоднозначность/возможность разных постановок задачи.
- Функция близости/расстояния, ее свойства, подробно рассмотреть неравенство треугольника и проблемы, к которым оно может приводить. В качестве примера можно рассмотреть тройку объектов: человек, лошадь и кентавр. Привести примеры функций близости/расстояния кроме евклидового для различных типов объектов.
- Иерархические алгоритмы кластеризации. Построение иерархии снизу вверх и сверху вниз, преимущества и недостатки обоих подходов.
- Алгоритм k-средних. Оптимизируемая функция потерь, алгоритмическая сложность глобальной минимизации данной функции. Алгоритм k-средних как метод локальной покоординатной оптимизации, доказательство сходимости, зависимость от инициализации. Подбор числа кластеров.
- EM-алгоритм для смеси гауссиан. Многомерное нормальное распределение, его параметры и их смысл. Описания кластера с помощью нормального распределения, связь правдоподобия нормального распределения и евклидового расстояния. Оптимизируемая функция потерь/качества (логарифм неполного правдоподобия или обоснованность модели). Сложность оптимизации подобной функции в явном виде. EM-алгоритм как строгое обобщения алгоритма k-means.