Машинное обучение на матфаке 2018/2019/Программа контрольной — различия между версиями

Версия 19:50, 16 октября 2018

На контрольной будут задачи, проверяющие знание и понимание основных понятий и методов, обсуждавшихся на лекциях и семинарах, в рамках следующих тем:

• Теория вероятностей: вероятностное пространство, случайная величина, дискретные и абсолютно непрерывные случайные величины, функция распределения, функция плотности. Матожидание, дисперсия. Системы случайных величин, совместное распределение, совместная плотность. Условное распределение, условная плотность. Независимость случайных величин (дискретных и абсолютно непрерывных). Условное матожидание. Ковариационная матрица случайного вектора, её свойства.
• Основы математической статистики. Выборка. Статистические оценки. Состоятельность, несмещённость. Выборочное среднее как оценка матожидания, выборочная дисперсия (обычная и исправленная) как оценка дисперсии.
• Общая постановка задачи supervised learning («обучение с учителем»). Функция потерь. Ожидаемая ошибка. Идеальный классификатор для квадратичной функции потерь (матожидание условного распределения y при заданном x). Метод k ближайших соседей для задач регрессии и классификации. Accuracy.
• Разложение ожидаемой квадратичной ошибки на шум, смещение и разброс. Приложение к методу k ближайших соседей: как выбор k влияет на смещение и разброс.
• Оценка ожидаемой ошибки с помощью кросс-валидации: проверка на отложенной выборке, k-fold cross validation.
• Линейная регрессия: постановка задачи. Вывод метода наименьших квадратов как MLE-оценки для линейной регрессии с нормальными ошибками. Явный вид МНК-оценки. Несмещённость МНК-оценки. Ковариацонная матрица. Теорема Гаусса — Маркова (без доказательства).
• Решение оптимизационных задач с помощью градиентного спуска.
• Уменьшение разброса в линейных регрессиях. Отбор признаков. Регуляризация: L2 и L1.
• Создание новых признаков (feature engineering).