НИС Машинное обучение и приложения — различия между версиями

Версия 14:16, 3 февраля 2016

Таблица с расписание семинаров здесь

Таблица со списком следующих тем здесь

Контакты:

• Ветров Дмитрий Петрович DVetrov@hse.ru
• Лобачева Екатерина Максимовна elobacheva@hse.ru
• Бартунов Сергей Олегович sbos.net@gmail.com

Просьба к теме письма добавлять тег [НИС ФКН].

Краткое описание

В ходе курса студенты изучат теоретические основы машинного обучения и получат практические навыки применения методов поиска скрытых закономерностей в данных. Также студенты получат опыт самостоятельного разбора научной литературы, который пригодится им при написании курсовых, дипломных и научных работ.

Темы семинаров

Семинар 1. Машинное обучение и история его развития.

Семинар 2. Научный метод.

Основные моменты: Что такое научный метод? Его основные особенности. Эмпирическое и теоретический научный метод. Принципы верификации и фальсификации. Бритва Оккама. Научный и ненаучный метод. Псевдонаука.

Полезные ссылки: 1, 2, 3 + глава 22 из Гарри Поттера и методов рацмышления

Семинар 3.1. Как сделать качественную презентацию.

Полезные ссылки: 1, 2, 3, 4, 5, 6, 7

Семинар 3.2. Как не нужно работать с данными.

Полезные ссылки: 1, 2, 3, 4, 5, 6, 7

Семинар 4. Линейная регрессия.

В докладе следует осветить следующие основные моменты:

1. Общую постановка задачи обучения с учителем, а также регрессии как ее частный случай
2. Привести несколько примеров из жизни, где подобная задача возникает
3. Рассмотреть линейную модель регресии, а также привести пример любой нелинейной модели
4. Записать задачу оптимизации, которая возникает при использовании квадратичной функции потерь.
5. Вывести разложение квадратичной ошибки в виде суммы bias и variance, обсудить значение этого разложения
6. Показать хотя бы два метода для решения данной задачи - метод градиентного спуска и псевдо-решение СЛАУ, обсудить, какие преимущества и недостатки есть у каждого метода.
7. Рассмотреть пример переобучения и использования L2-регуляризации как метода борьбы с ним. Связь L2-регуляризации с нормальным псевдо-решением.
8. Обсудить другие функции потерь, например, L1.

Полезные ссылки: 1, 2 (главы 2 и 3), 3, 4, 5, 6, 7, 8

Семинар 5. Метод опорных векторов. Линейно-разделимый случай

План доклада:

1. Ликбез. Теорема Куна-Такера и как ее использовать для задач оптимизации с ограничениями.
2. Общая постановка задачи обучения с учителем, а также классификации, как ее частный случай.
3. Привести несколько примеров из жизни, где подобная задача возникает
4. Рассмотреть линейный классификатор, как выглядит его решающее правило, его геометрический смысл (разделяющая гиперплоскость).
5. Неоднозначность выбора разделяющей гиперплоскости при использовании бинарной функции потерь.
6. Принцип максимального зазора (или иначе заступа, англ. max margin), как некоторый разумный способ выбора разделяющей гиперплоскости. Показать его устойчивость при добавлении небольшого шума к обучающей выборке.
7. Вывод величины зазора через вектор нормали гиперплоскости
8. Задача оптимизации, возникающая при обучении метода опорных векторов в случае линейно-разделимой выборки.
9. Решение выпуклой задачи условной оптимизации с использованием метода множителей Лагранжа.
10. Двойственная функция, возникающая при обучении SVM.
11. Решение данной задачи оптимизации, его зависимость от опорных векторов. Смысл множителей лагранжа, условий дополняющей нежесткости.

Полезные ссылки: 1, 2, 3, 4, 5, 6, 7, 8.

Семинар 6. Метод опорных векторов. Линейно-неразделимый случай, ядровой переход

План доклада:

1. Краткое напоминание основных результатов предыдущего семинара:
   1. постановка задачи бинарной классификации
   2. вид решающего правила и его геометрический смысл
   3. принцип максимизации зазора
   4. прямая и двойственная задачи оптимизации
2. Ослабление предположения о линейной разделимости выборки
   1. изменение задачи оптимизаци
   2. решение двойственной задачи оптимизации
   3. вывод функции потерь SVM (hinge loss)
3. Ядровой переход
   1. формальная замена скалярного произведения на функцию ядра
   2. свойства скалярного произведения
   3. примеры ядер с объяснением их свойств и параметров
   4. способы определения новых ядер

См. список материалов к предыдущему семинару.

Семинар 7. Деревья решений и ансамбли решающих правил

План доклада:

1. Общие представления о деревьях решений для классификации и регрессии, примеры, геометрия решающего правила.
2. Алгоритм обучения ID3. Проблемы алгоритма ID3: невозможность обработки вещественных признаков, а также пропущенных значений в данных.
3. Решение этих проблем в алгоритме C4.5, принцип максимизации информационной выгоды (information gain).
4. Проблема переобучения, регуляризация при обучении деревьев решений: ограничение максимальной глубины дерева, обрезание дерева (tree pruning).
5. Ансамбли решающих правил. Примеры, геометрия решающего правила. Общая идея бустинга.
6. Схема алгоритма AdaBoost.
7. Верхняя оценка ошибки на обучающей выборке алгоритма AdaBoost.

Полезные ссылки: 1, 2, 3, 4.

Практическое задание. Классификация изображений. Описание.

Семинар 9. Конференции и современные результаты в машинном обучении

Семинар 10. Методы кластеризации

План доклада:

1. Задача кластеризации. Отличия от задачи классификации. Неоднозначность/возможность разных постановок задачи.
2. Функция близости/расстояния, ее свойства, подробно рассмотреть неравенство треугольника и проблемы, к которым оно может приводить. В качестве примера можно рассмотреть тройку объектов: человек, лошадь и кентавр. Привести примеры функций близости/расстояния кроме евклидового для различных типов объектов.
3. Иерархические алгоритмы кластеризации. Построение иерархии снизу вверх и сверху вниз, преимущества и недостатки обоих подходов.
4. Алгоритм k-средних. Оптимизируемая функция потерь, алгоритмическая сложность глобальной минимизации данной функции. Алгоритм k-средних как метод локальной покоординатной оптимизации, доказательство сходимости, зависимость от инициализации. Подбор числа кластеров.
5. EM-алгоритм для смеси гауссиан. Многомерное нормальное распределение, его параметры и их смысл. Описания кластера с помощью нормального распределения, связь правдоподобия нормального распределения и евклидового расстояния. Оптимизируемая функция потерь/качества (логарифм неполного правдоподобия или обоснованность модели). Сложность оптимизации подобной функции в явном виде. EM-алгоритм как строгое обобщения алгоритма k-means.

Полезные ссылки: 1, 2, 3, 4.

Семинар 11. Матричные разложения и их приложения в рекомендательных системах и анализе текста

План доклада:

1. Введение. Матрицы как естественное представление данных в рекомендательных системах (оценки пользователей) и анализе текста (количество слов в каждом документе).
2. Предположение о существовании базиса в скрытом пространстве низкой размерности, хорошо описывающем данные в виде общих характеристик/жанров/тематик/etc. Формула для выражения элемента матрицы через скалярное произведение векторов в скрытом пространстве. Аналогичная запись в матричной форме.
3. Функции потерь. Обработка отсутствующих данных.
4. Стохастические алгоритмы оптимизации в задаче матричного разложения.
5. Улучшения предсказаний, вычитание средних значений.
6. Предсказания для новых данных, интерпретация объектов разложения в скрытом пространстве, извлечение признаков.
7. Тензорные разложения (разложение Таккера, СP-разложение)

Полезные ссылки: 1, 2, 3, 4.