Методы оптимизации в машинном обучении 2023
Внимание! Страница курса находится в стадии формирования.
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Преподаватели: Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.
Группа | Расписание | Инвайт для anytask |
---|---|---|
201 | пятница, лекция в 13:00 (R405), семинар в 14:40 (R207) | nuYXlzP |
202 | пятница, лекция в 13:00 (R405), семинар в 14:40 (R301) | Zus8FGK |
203 | пятница, лекция в 13:00 (R405), семинар в 14:40 (R201) | H85FCXe |
Другие студенты | пятница, лекция в 13:00 (R405), можно выбрать семинар любой из групп 201, 202, 203 | ml0iZHo |
Группа в Telegram для вопросов по курсу: ссылка
Система выставления оценок по курсу
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
Итоговая оценка | Условия |
---|---|
>=8 | Сданы все задания, кроме одного (на оценку >= 3), экзамен сдан на оценку >= 6 |
>=6 | Сданы все задания, кроме двух (на оценку >= 3), экзамен сдан на оценку >= 4 |
>=4 | Сданы все задания, кроме трех (на оценку >= 3), экзамен сдан на оценку >= 4 |
Правила сдачи заданий
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.
Лекции и семинары
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 20 января 2023 | Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. | Конспект |
2 | 27 января 2023 | Классы функций для оптимизации. Точная и неточная одномерная оптимизация | Конспект |
3 | 03 февраля 2023 | Метод градиентного спуска. Разностное дифференцирование. | |
4 | 10 февраля 2023 | Стандартные матричные разложения. Метод Ньютона. | Презентация по подготовке отчётов |
5 | 17 февраля 2023 | Метод сопряжённых градиентов. | Презентация |
6 | 24 февраля 2023 | Безгессианный метод Ньютона. Выпуклые множества. | Конспект |
7 | 03 марта 2023 | Квазиньютоновские методы оптимизации. Выпуклые функции. | Конспект |
8 | 10 марта 2023 | Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. | Конспект |
9 | 17 марта 2023 | Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. | Конспект |
10 | 24 марта 2023 | Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. | Конспект |
-- | 31 марта 2023 | Занятия не будет | |
11 | 7 апреля 2023 | Прямо-двойственные методы для решения выпуклых задач условной оптимизации. | |
12 | 14 апреля 2023 | Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. | Конспект |
13 | 21 апреля 2023 | Проксимальные методы оптимизации. Сопряженные функции и нормы. | Конспект |
14 | 28 апреля 2023 | Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. | |
-- | 5 мая 2023 | Занятия не будет | |
15 | 12 мая 2023 | Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. | Статья 1 Статья 2 |
16 | 19 мая 2023 | Дифференцирование через процесс оптимизации. | Статья 1 Статья 2 |
Рекомендуемая литература
1. J. Nocedal, S. Wright. Numerical optimization. Springer, 2006.
2. S. Boyd, L. Vandenberghe. Convex optimization. Cambridge University Press, 2004.