Методы оптимизации в машинном обучении 2022 — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Новая страница: «__NOTOC__ Методы оптимизации лежат в основе решения многих задач компьютерных наук. Наприме…»)
 
 
(не показано 15 промежуточных версии этого же участника)
Строка 7: Строка 7:
 
  ! Группа !! Расписание !! Инвайт для anytask
 
  ! Группа !! Расписание !! Инвайт для anytask
 
  |-
 
  |-
  | 191 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|ctXiGBZ
+
  | align="center"|191 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) || align="center"|ctXiGBZ
 
  |-
 
  |-
  | 192 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|SAWVLsf
+
  | align="center"|192 || вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) || align="center"|SAWVLsf
 
  |-
 
  |-
  | 193 || вторник, лекция в 14:40, семинар в 16:20 || align="center"|I2KuKz3
+
  | align="center"|193 || вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) || align="center"|I2KuKz3
 
  |-
 
  |-
  | Остальные студенты || вторник, лекция в 14:40, семинар в 16:20 || align="center"|HQtrYHW
+
  | Остальные студенты || вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 || align="center"|HQtrYHW
 
  |}
 
  |}
  
 
Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]
 
Группа в Telegram для вопросов по курсу: [https://t.me/+n8fxyed6baQ5YWEy ссылка]
  
Видеозаписи занятий:  
+
Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0rXdf6CJyPwjoD0HrnzLqLD ссылка]
  
 
== Система выставления оценок по курсу ==
 
== Система выставления оценок по курсу ==
В рамках курса предполагается два теоретических и одно практическое домашнее задание, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.6*<Оценка_за_семестр> + 0.4*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:  
+
В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:  
 
{| class="wikitable"
 
{| class="wikitable"
 
  ! Итоговая оценка !! Условия  
 
  ! Итоговая оценка !! Условия  
 
  |-
 
  |-
  |align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 6
+
  |align="center"|>=8 || Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
 
  |-
 
  |-
  |align="center"|>=6 || Сданы все задания, кроме одного, экзамен сдан на оценку >= 4
+
  |align="center"|>=6 || Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
 
  |-
 
  |-
  |align="center"|>=4 || Сданы все задания, кроме двух, экзамен сдан на оценку >= 4
+
  |align="center"|>=4 || Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4
 
  |-
 
  |-
 
  |}
 
  |}
 +
 +
== Экзамен ==
 +
Экзамен по курсу можно сдавать как в письменном, так и устном формате. В случае сдачи экзамена в письменном формате итоговая оценка по курсу не может быть больше 7. Студенты, находящиеся на дистанционном обучении, сдают экзамен в устном формате в зуме.
 +
 +
[https://docs.google.com/document/d/1W-plJhmcgFiQWTAnaBeh0kLIRd16A75bNyGjYXZjXLQ/edit?usp=sharing Вопросы к устному экзамену + теоретический минимум]
 +
 +
[https://drive.google.com/file/d/1zjeTxRiUAt5bKzajyqzoDEuG6uMAXm97/view?usp=sharing Пример задания на письменном экзамене]
  
 
== Правила сдачи заданий ==
 
== Правила сдачи заданий ==
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
+
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
  
 
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.
 
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.
Строка 47: Строка 54:
 
|-
 
|-
 
| align="center"|1
 
| align="center"|1
| 12&nbsp;января&nbsp;2021
+
| 18&nbsp;января&nbsp;2022
 
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
 
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект]
 
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
 
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект]
 
|-
 
|-
 
| align="center"|2
 
| align="center"|2
| 19&nbsp;января&nbsp;2021
+
| 25&nbsp;января&nbsp;2022
| ''Занятия не будет'' ||  
+
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
 
|-
 
|-
 
| align="center"|3
 
| align="center"|3
| 26&nbsp;января&nbsp;2021
+
| 01&nbsp;февраля&nbsp;2022
| Одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект]
+
| Метод градиентного спуска. Разностное дифференцирование. ||  
 
|-
 
|-
 
| align="center"|4
 
| align="center"|4
| 02&nbsp;февраля&nbsp;2021
+
| 08&nbsp;февраля&nbsp;2022
| Метод градиентного спуска ||  
+
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
 
|-
 
|-
 
| align="center"|5
 
| align="center"|5
| 09&nbsp;февраля&nbsp;2021
+
| 15&nbsp;февраля&nbsp;2022
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов]
+
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
 
|-
 
|-
 
| align="center"|6
 
| align="center"|6
| 16&nbsp;февраля&nbsp;2021
+
| 22&nbsp;февраля&nbsp;2022
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация]
+
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
 
|-
 
|-
 
| align="center"|7
 
| align="center"|7
| 02&nbsp;марта&nbsp;2021
+
| 01&nbsp;марта&nbsp;2022
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект]
+
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
 +
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
 +
|-
 +
| align="center"|--
 +
| 08&nbsp;марта&nbsp;2022
 +
| ''Занятия не будет'' ||
 
|-
 
|-
 
| align="center"|8
 
| align="center"|8
| 09&nbsp;марта&nbsp;2021
+
| 15&nbsp;марта&nbsp;2022
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект]
+
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
 
|-
 
|-
 
| align="center"|9
 
| align="center"|9
| 16&nbsp;марта&nbsp;2021
+
| 22&nbsp;марта&nbsp;2022
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект]
+
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
 +
|-
 +
| align="center"|--
 +
| 29&nbsp;марта&nbsp;2022
 +
| ''Занятия не будет'' ||
 
|-
 
|-
 
| align="center"|10
 
| align="center"|10
| 23&nbsp;марта&nbsp;2021
+
| 05&nbsp;апреля&nbsp;2022
| Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект]
+
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br>
 
|-
 
|-
 
| align="center"|11
 
| align="center"|11
| 30&nbsp;марта&nbsp;2021
+
| 12&nbsp;апреля&nbsp;2022
| ''Занятия не будет'' ||  
+
| Прямо-двойственные методы для решения выпуклых задач условной оптимизации. ||  
 
|-
 
|-
 
| align="center"|12
 
| align="center"|12
| 06&nbsp;апреля&nbsp;2021
+
| 19&nbsp;апреля&nbsp;2022
| Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Матричные преобразования в квазиньютоновских методах. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br>[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]
+
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
 
|-
 
|-
 
| align="center"|13
 
| align="center"|13
| 13&nbsp;апреля&nbsp;2021
+
| 26&nbsp;апреля&nbsp;2022
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект]
+
|-
+
| align="center"|14
+
| 20&nbsp;апреля&nbsp;2021
+
 
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
 
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект]
 
|-
 
|-
| align="center"|15
+
| align="center"|--
| 27&nbsp;апреля&nbsp;2021
+
| 3&nbsp;мая&nbsp;2022
| Ускоренный оптимальный метод Нестерова. Проекции и проксимальные операторы. ||  
+
| ''Занятия не будет'' ||  
 
|-
 
|-
| align="center"|16
+
| align="center"|--
| 4&nbsp;мая&nbsp;2021
+
| 10&nbsp;мая&nbsp;2022
 
| ''Занятия не будет'' ||  
 
| ''Занятия не будет'' ||  
 
|-
 
|-
| align="center"|17
+
| align="center"|14
| 11&nbsp;мая&nbsp;2021
+
| 17&nbsp;мая&nbsp;2022
| Стохастическая оптимизация. Автоматическое дифференцирование по графу вычислений. ||  
+
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. ||  
 
|-
 
|-
| align="center"|18
+
| align="center"|15
| 18&nbsp;мая&nbsp;2021
+
| 24&nbsp;мая&nbsp;2022
| Дифференцирование через процесс оптимизации. Сведение дискретных задач оптимизации к непрерывным. || [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]
+
| Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. || [https://arxiv.org/abs/1401.7020 Статья 1]<br> [https://proceedings.mlr.press/v48/rodomanov16.html Статья 2]
 
|-
 
|-
| align="center"|19
+
| align="center"|16
| 25&nbsp;мая&nbsp;2021
+
| 31&nbsp;мая&nbsp;2022
| Ускоренный стохастический метод оптимизации SDCA. Методы Adagrad, RMSprop, ADAM. || [https://www.jmlr.org/papers/volume14/shalev-shwartz13a/shalev-shwartz13a.pdf Статья 1]<br> [https://papers.nips.cc/paper/2013/file/077e29b11be80ab57e1a2ecabb7da330-Paper.pdf Статья 2]
+
| Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2]
 
|-
 
|-
 
|}
 
|}

Текущая версия на 18:25, 10 июня 2022

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Преподаватели: Кропотов Дмитрий Александрович, Гадецкий Артём, Кодрян Максим.

Группа Расписание Инвайт для anytask
191 вторник, лекция в 16:20 (R306), семинар в 17:50 (R208) ctXiGBZ
192 вторник, лекция в 16:20 (R306), семинар в 17:50 (R207) SAWVLsf
193 вторник, лекция в 16:20 (R306), семинар в 18:10 (R307) I2KuKz3
Остальные студенты вторник, лекция в 16:20 (R306), можно выбрать семинар любой из групп 191, 192, 193 HQtrYHW

Группа в Telegram для вопросов по курсу: ссылка

Видеозаписи занятий: ссылка

Система выставления оценок по курсу

В рамках курса предполагается несколько теоретических и практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:

Итоговая оценка Условия
>=8 Сданы все задания, кроме одного, экзамен сдан в устном формате на оценку >= 6
>=6 Сданы все задания, кроме двух, экзамен сдан (устно или письменно) на оценку >= 4
>=4 Сданы все задания, кроме трех, экзамен сдан (устно или письменно) на оценку >= 4

Экзамен

Экзамен по курсу можно сдавать как в письменном, так и устном формате. В случае сдачи экзамена в письменном формате итоговая оценка по курсу не может быть больше 7. Студенты, находящиеся на дистанционном обучении, сдают экзамен в устном формате в зуме.

Вопросы к устному экзамену + теоретический минимум

Пример задания на письменном экзамене

Правила сдачи заданий

Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.

Лекции и семинары

№ п/п Дата Занятие Материалы
1 18 января 2022 Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. Конспект

Конспект

2 25 января 2022 Классы функций для оптимизации. Точная и неточная одномерная оптимизация Конспект
3 01 февраля 2022 Метод градиентного спуска. Разностное дифференцирование.
4 08 февраля 2022 Стандартные матричные разложения. Метод Ньютона. Презентация по подготовке отчётов
5 15 февраля 2022 Метод сопряжённых градиентов. Презентация
6 22 февраля 2022 Безгессианный метод Ньютона. Выпуклые множества. Конспект
7 01 марта 2022 Квазиньютоновские методы оптимизации. Выпуклые функции. Конспект

Конспект

-- 08 марта 2022 Занятия не будет
8 15 марта 2022 Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. Конспект
9 22 марта 2022 Задача линейного программирования. Симплекс-метод. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. Конспект
-- 29 марта 2022 Занятия не будет
10 05 апреля 2022 Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. Конспект
11 12 апреля 2022 Прямо-двойственные методы для решения выпуклых задач условной оптимизации.
12 19 апреля 2022 Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. Конспект
13 26 апреля 2022 Проксимальные методы оптимизации. Сопряженные функции и нормы. Конспект
-- 3 мая 2022 Занятия не будет
-- 10 мая 2022 Занятия не будет
14 17 мая 2022 Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы.
15 24 мая 2022 Стохастическая оптимизация: методы SQN, NIM, Adagrad, RMSprop, ADAM. Автоматическое дифференцирование по графу вычислений. Статья 1
Статья 2
16 31 мая 2022 Дифференцирование через процесс оптимизации. Статья 1
Статья 2