Методы оптимизации в машинном обучении 2022 — различия между версиями
Dkropotov (обсуждение | вклад) (→Лекции и семинары) |
Dkropotov (обсуждение | вклад) |
||
(не показано 12 промежуточных версии этого же участника) | |||
Строка 7: | Строка 7: | ||
! Группа !! Расписание !! Инвайт для anytask | ! Группа !! Расписание !! Инвайт для anytask | ||
|- | |- | ||
− | | align="center"|191 || вторник, лекция в | + | | align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ |
|- | |- | ||
− | | align="center"|192 || вторник, лекция в | + | | align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf |
|- | |- | ||
− | | align="center"|193 || вторник, лекция в | + | | align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3 |
|- | |- | ||
− | | Остальные студенты || вторник, лекция | + | | Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW |
|} | |} | ||
Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка] | Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка] | ||
+ | |||
+ | Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка] | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
Строка 30: | Строка 32: | ||
|- | |- | ||
|} | |} | ||
+ | |||
+ | == Экзамен == | ||
+ | Экзамен по курсу можно сдавать как в письменном, так и устном формате. В случае сдачи экзамена в письменном формате итоговая оценка по курсу не может быть больше 7. Студенты, находящиеся на дистанционном обучении, сдают экзамен в устном формате в зуме. | ||
+ | |||
+ | [https://docs.google.com/document/d/1W-plJhmcgFiQWTAnaBeh0kLIRd16A75bNyGjYXZjXLQ/edit?usp=sharing Вопросы к устному экзамену + теоретический минимум] | ||
+ | |||
+ | [https://drive.google.com/file/d/1zjeTxRiUAt5bKzajyqzoDEuG6uMAXm97/view?usp=sharing Пример задания на письменном экзамене] | ||
== Правила сдачи заданий == | == Правила сдачи заданий == | ||
Строка 51: | Строка 60: | ||
| align="center"|2 | | align="center"|2 | ||
| 25 января 2022 | | 25 января 2022 | ||
− | | | + | | Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект] |
|- | |- | ||
| align="center"|3 | | align="center"|3 | ||
| 01 февраля 2022 | | 01 февраля 2022 | ||
− | | Метод градиентного спуска || | + | | Метод градиентного спуска. Разностное дифференцирование. || |
|- | |- | ||
| align="center"|4 | | align="center"|4 | ||
Строка 72: | Строка 81: | ||
| 01 марта 2022 | | 01 марта 2022 | ||
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект] | | Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект] | ||
+ | [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект] | ||
|- | |- | ||
| align="center"|-- | | align="center"|-- | ||
Строка 91: | Строка 101: | ||
| align="center"|10 | | align="center"|10 | ||
| 05 апреля 2022 | | 05 апреля 2022 | ||
− | | Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. | + | | Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br> |
|- | |- | ||
| align="center"|11 | | align="center"|11 | ||
− | | 12 апреля | + | | 12 апреля 2022 |
− | | | + | | Прямо-двойственные методы для решения выпуклых задач условной оптимизации. || |
|- | |- | ||
| align="center"|12 | | align="center"|12 | ||
− | | 19 апреля | + | | 19 апреля 2022 |
− | | | + | | Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект] |
|- | |- | ||
| align="center"|13 | | align="center"|13 | ||
− | | 26 апреля | + | | 26 апреля 2022 |
− | | | + | | Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект] |
|- | |- | ||
| align="center"|-- | | align="center"|-- | ||
Строка 115: | Строка 125: | ||
| align="center"|14 | | align="center"|14 | ||
| 17 мая 2022 | | 17 мая 2022 | ||
− | | Стохастическая оптимизация. | + | | Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. || |
|- | |- | ||
| align="center"|15 | | align="center"|15 | ||
| 24 мая 2022 | | 24 мая 2022 | ||
− | | | + | | Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1]<br> [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2] |
|- | |- | ||
| align="center"|16 | | align="center"|16 | ||
| 31 мая 2022 | | 31 мая 2022 | ||
− | | | + | | Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2] |
|- | |- | ||
|} | |} |
Текущая версия на 18:25, 10 июня 2022
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Преподаватели: Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.
Группа | Расписание | Инвайт для anytask |
---|---|---|
191 | вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) | ctXiGBZ |
192 | вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) | SAWVLsf |
193 | вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) | I2KuKz3 |
Остальные студенты | вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 | HQtrYHW |
Группа в Telegram для вопросов по курсу: ссылка
Видеозаписи занятий: ссылка
Система выставления оценок по курсу
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
Итоговая оценка | Условия |
---|---|
>=8 | Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6 |
>=6 | Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4 |
>=4 | Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4 |
Экзамен
Экзамен по курсу можно сдавать как в письменном, так и устном формате. В случае сдачи экзамена в письменном формате итоговая оценка по курсу не может быть больше 7. Студенты, находящиеся на дистанционном обучении, сдают экзамен в устном формате в зуме.
Вопросы к устному экзамену + теоретический минимум
Пример задания на письменном экзамене
Правила сдачи заданий
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.
Лекции и семинары
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 18 января 2022 | Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. | Конспект |
2 | 25 января 2022 | Классы функций для оптимизации. Точная и неточная одномерная оптимизация | Конспект |
3 | 01 февраля 2022 | Метод градиентного спуска. Разностное дифференцирование. | |
4 | 08 февраля 2022 | Стандартные матричные разложения. Метод Ньютона. | Презентация по подготовке отчётов |
5 | 15 февраля 2022 | Метод сопряжённых градиентов. | Презентация |
6 | 22 февраля 2022 | Безгессианный метод Ньютона. Выпуклые множества. | Конспект |
7 | 01 марта 2022 | Квазиньютоновские методы оптимизации. Выпуклые функции. | Конспект |
-- | 08 марта 2022 | Занятия не будет | |
8 | 15 марта 2022 | Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. | Конспект |
9 | 22 марта 2022 | Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. | Конспект |
-- | 29 марта 2022 | Занятия не будет | |
10 | 05 апреля 2022 | Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. | Конспект |
11 | 12 апреля 2022 | Прямо-двойственные методы для решения выпуклых задач условной оптимизации. | |
12 | 19 апреля 2022 | Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. | Конспект |
13 | 26 апреля 2022 | Проксимальные методы оптимизации. Сопряженные функции и нормы. | Конспект |
-- | 3 мая 2022 | Занятия не будет | |
-- | 10 мая 2022 | Занятия не будет | |
14 | 17 мая 2022 | Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. | |
15 | 24 мая 2022 | Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. | Статья 1 Статья 2 |
16 | 31 мая 2022 | Дифференцирование через процесс оптимизации. | Статья 1 Статья 2 |