НИС Машинное обучение и приложения
Таблица с расписание семинаров здесь
Таблица со списком следующих тем здесь
Контакты:
- Ветров Дмитрий Петрович DVetrov@hse.ru
- Лобачева Екатерина Максимовна elobacheva@hse.ru
- Бартунов Сергей Олегович sbos.net@gmail.com
Просьба к теме письма добавлять тег [НИС ФКН].
Краткое описание
В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.
Темы семинаров
Семинар 1. Машинное обучение и история его развития.
Семинар 2. Научный метод.
Основные моменты: Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.
Полезные ссылки: 1, 2, 3 + глава 22 из Гарри Поттера и методов рацмышления
Семинар 3.1. Как сделать качественную презентацию.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 3.2. Как не нужно работать с данными.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7
Семинар 4. Линейная регрессия.
В докладе следует осветить следующие основные моменты:
- Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
- Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
- Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
- Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
- Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
- Обсудить другие функции потерь, например, L1.
Полезные ссылки: 1, 2 (главы 2 и 3), 3, 4, 5, 6, 7, 8
Семинар 5. Метод опорных векторов. Линейно-разделимый случай
План доклада:
- Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
- Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
- Привести несколько примеров из жизни, где подобная задача возникает
- Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
- Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
- Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
- Вывод величины зазора через вектор нормали гиперплоскости
- Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
- Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
- Двойственная функция, возникающая при обучении SVM.
- Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.
Полезные ссылки: 1, 2, 3, 4, 5, 6, 7, 8.
Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход
План доклада:
- Краткое напоминание основных результатов предыдущего семинара:
- постановка задачи бинарной классификации
- вид решающего правила и его геометрический смысл
- принцип максимизации зазора
- прямая и двойственная задачи оптимизации
- Ослабление предположения о линейной разделимости выборки
- изменение задачи оптимизаци
- решение двойственной задачи оптимизации
- вывод функции потерь SVM (hinge loss)
- Ядровой переход
- формальная замена скалярного произведения на функцию ядра
- свойства скалярного произведения
- примеры ядер с объяснением их свойств и параметров
- способы определения новых ядер
См. список материалов к предыдущему семинару.
Семинар 7. Деревья решений и ансамбли решающих правил
План доклада:
- Общие представления о деревьях решений для классификации и регрессии, примеры, геометрия решающего правила.
- Алгоритм обучения ID3. Проблемы алгоритма ID3: невозможность обработки вещественных признаков, а также пропущенных значений в данных.
- Решение этих проблем в алгоритме C4.5, принцип максимизации информационной выгоды (information gain).
- Проблема переобучения, регуляризация при обучении деревьев решений: ограничение максимальной глубины дерева, обрезание дерева (tree pruning).
- Ансамбли решающих правил. Примеры, геометрия решающего правила. Общая идея бустинга.
- Схема алгоритма AdaBoost.
- Верхняя оценка ошибки на обучающей выборке алгоритма AdaBoost.
Практическое задание. Классификация изображений. Описание.
Семинар 9. Конференции и современные результаты в машинном обучении
Семинар 10. Методы кластеризации
План доклада:
- Задача кластеризации. Отличия от задачи классификации. Неоднозначность/возможность разных постановок задачи.
- Функция близости/расстояния, ее свойства, подробно рассмотреть неравенство треугольника и проблемы, к которым оно может приводить. В качестве примера можно рассмотреть тройку объектов: человек, лошадь и кентавр. Привести примеры функций близости/расстояния кроме евклидового для различных типов объектов.
- Иерархические алгоритмы кластеризации. Построение иерархии снизу вверх и сверху вниз, преимущества и недостатки обоих подходов.
- Алгоритм k-средних. Оптимизируемая функция потерь, алгоритмическая сложность глобальной минимизации данной функции. Алгоритм k-средних как метод локальной покоординатной оптимизации, доказательство сходимости, зависимость от инициализации. Подбор числа кластеров.
- EM-алгоритм для смеси гауссиан. Многомерное нормальное распределение, его параметры и их смысл. Описания кластера с помощью нормального распределения, связь правдоподобия нормального распределения и евклидового расстояния. Оптимизируемая функция потерь/качества (логарифм неполного правдоподобия или обоснованность модели). Сложность оптимизации подобной функции в явном виде. EM-алгоритм как строгое обобщения алгоритма k-means.
Семинар 11. Матричные разложения и их приложения в рекомендательных системах и анализе текста
План доклада:
- Введение. Матрицы как естественное представление данных в рекомендательных системах (оценки пользователей) и анализе текста (количество слов в каждом документе).
- Предположение о существовании базиса в скрытом пространстве низкой размерности, хорошо описывающем данные в виде общих характеристик/жанров/тематик/etc. Формула для выражения элемента матрицы через скалярное произведение векторов в скрытом пространстве. Аналогичная запись в матричной форме.
- Функции потерь. Обработка отсутствующих данных.
- Стохастические алгоритмы оптимизации в задаче матричного разложения.
- Улучшения предсказаний, вычитание средних значений.
- Предсказания для новых данных, интерпретация объектов разложения в скрытом пространстве, извлечение признаков.
- Тензорные разложения (разложение Таккера, СP-разложение)