Методы оптимизации в машинном обучении 2023

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск


Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Преподаватели: Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.

Группа Расписание Инвайт для anytask
201 пятница, лекция в 13:00, семинар в 14:40, ауд. см. в РУЗе nuYXlzP
202 пятница, лекция в 13:00, семинар в 14:40, ауд. см. в РУЗе Zus8FGK
203 пятница, лекция в 13:00, семинар в 14:40, ауд. см. в РУЗе H85FCXe
Другие студенты пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 ml0iZHo

Telegram для вопросов и объявлений по курсу: чат, канал

Видеозаписи занятий: ссылка

Таблица с оценками: ссылка

Экзамен

Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404 (фамилии А-И) и R405 (фамилии К-Я). Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена.

Студенты, находящиеся на дистанционном обучении, сдают экзамен онлайн. Онлайн-экзамен также состоится 28 июня, начало в 10-00. Зум-ссылка. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера.

Список тем, выносимых на экзамен

Пример варианта экзамена

Список задач, рассмотренных на семинарах

Система выставления оценок по курсу

В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:

Итоговая оценка Необходимые условия
>=8 Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6
>=6 Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4
>=4 Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4

Правила сдачи заданий

Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.

Лекции и семинары

№ п/п Дата Занятие Материалы
1 20 января 2023 Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. Конспект

Конспект

2 27 января 2023 Классы функций для оптимизации. Точная и неточная одномерная оптимизация Конспект

Презентация

3 03 февраля 2023 Метод градиентного спуска. Разностное дифференцирование.
4 10 февраля 2023 Стандартные матричные разложения. Метод Ньютона. Презентация по подготовке отчётов
5 17 февраля 2023 Метод сопряжённых градиентов. Презентация
-- 24 февраля 2023 Занятия не будет
6 03 марта 2023 Безгессианный метод Ньютона. Выпуклые множества. Конспект
7 10 марта 2023 Квазиньютоновские методы оптимизации. Выпуклые функции. Конспект

Конспект

8 17 марта 2023 Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. Конспект
9 24 марта 2023 Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации.
-- 31 марта 2023 Занятия не будет
10 7 апреля 2023 Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. Конспект

Конспект

11 14 апреля 2023 Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM.
12 21 апреля 2023 Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. Конспект
13 28 апреля 2023 Проксимальные методы оптимизации. Сопряженные функции и нормы. Конспект
-- 5 мая 2023 Занятия не будет
-- 12 мая 2023 Занятия не будет
14 19 мая 2023 Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы.
15 26 мая 2023 Семинар: автоматическое дифференцирование по графу вычислений.
16 2 июня 2023 Лекция: обучение нейронных сетей
17 9 июня 2023 Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. Статья 1
Статья 2
Статья 3
18 16 июня 2023 Консультация к экзамену

Рекомендуемая литература

1. J. Nocedal, S. Wright. Numerical optimization. Springer, 2006.

2. S. Boyd, L. Vandenberghe. Convex optimization. Cambridge University Press, 2004.