Непрерывная оптимизация — различия между версиями
Dkropotov (обсуждение | вклад) |
(→Семинары) |
||
(не показаны 42 промежуточные версии 3 участников) | |||
Строка 8: | Строка 8: | ||
! Группа !! Семинарист !! Расписание !! Инвайт для anytask | ! Группа !! Семинарист !! Расписание !! Инвайт для anytask | ||
|- | |- | ||
− | | 151 (МОП) || Родоманов Антон Олегович || вторник, 15:10 – 16:30, ауд. | + | | 151 (МОП) || Родоманов Антон Олегович || вторник, 15:10 – 16:30, ауд. 503 || align="center"|91aHb6E |
|- | |- | ||
− | | 152 (МОП) || Дойков Никита Владимирович || вторник, 15:10 – 16:30, ауд. 618 || tHxrPO6 | + | | 152 (МОП) || Дойков Никита Владимирович || вторник, 15:10 – 16:30, ауд. 618 || align="center"|tHxrPO6 |
|- | |- | ||
− | | 155 (РС) || Шаповалов Никита Анатольевич || вторник, 15:10 – 16:30, ауд. | + | | 155 (РС) || Шаповалов Никита Анатольевич || вторник, 15:10 – 16:30, ауд. 301 || align="center"|xtdRi1f |
|- | |- | ||
− | | 156 (ТИ) || Тюрин Александр Игоревич || вторник, 18:10 – 19:30, ауд. 306 || j2OlXCE | + | | 156 (ТИ) || Тюрин Александр Игоревич || вторник, 18:10 – 19:30, ауд. 306 || align="center"|j2OlXCE |
|} | |} | ||
+ | |||
+ | Группа в Telegram для вопросов по курсу: https://t.me/joinchat/CzWHMFEeRHIDcNVdHfWTug. | ||
+ | |||
+ | Таблица с оценками по курсу: https://docs.google.com/spreadsheets/d/1i744zsMejvdS_xjtJSQIXccX9g0ywrklNRIURG23K0M/edit?usp=sharing. | ||
+ | |||
+ | Список вопросов к экзамену: https://yadi.sk/i/TN2h4SEm3TV2VT. | ||
+ | |||
+ | '''Внимание! Консультация к экзамену состоится в ближайшую субботу, 24 марта, в ауд. 509. Начало в 14-00.''' | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
Строка 21: | Строка 29: | ||
# В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону. | # В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону. | ||
# В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за проверочные работы на семинарах. | # В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за проверочные работы на семинарах. | ||
+ | |||
+ | == Практические задания == | ||
+ | |||
+ | [https://yadi.sk/i/vjFPyVNU3Rk6rB Практическое задание 1]. | ||
+ | |||
+ | [https://yadi.sk/i/OJs5-vLM3SRfZJ Практическое задание 2]. | ||
+ | |||
+ | [https://yadi.sk/i/d0Nh4iX63T7WDb Практическое задание 3]. | ||
== Правила сдачи заданий == | == Правила сдачи заданий == | ||
Строка 82: | Строка 98: | ||
== Семинары == | == Семинары == | ||
− | |||
{| class = "wikitable" | {| class = "wikitable" | ||
|+ | |+ | ||
Строка 91: | Строка 106: | ||
|- | |- | ||
| align="center"|1 | | align="center"|1 | ||
− | | | + | | 9 января 2018 |
− | | Скорости сходимости. Матричные вычисления. || [ | + | | Скорости сходимости. Матричные вычисления. || [https://yadi.sk/i/u-vZMLT73RLwuX Конспект] [https://yadi.sk/i/OZ2uWEaf3RHvao Домашнее задание] |
|- | |- | ||
| align="center"|2 | | align="center"|2 | ||
− | | | + | | 16 января 2018 |
− | | | + | | Матрично-векторное дифференцирование (часть 1) || [https://yadi.sk/i/SSWQ8b3x3RGuPr Конспект] [https://yadi.sk/i/bcnpUhS63RWxhC Домашнее задание] |
|- | |- | ||
| align="center"|3 | | align="center"|3 | ||
− | | | + | | 23 января 2018 |
− | | | + | | Матрично-векторное дифференцирование (часть 2). Градиентный спуск. || [https://yadi.sk/i/6hCRRQcb3RGuQT Презентация] [https://yadi.sk/i/YOHsq_cP3Rk7nS Домашнее задание] |
|- | |- | ||
| align="center"|4 | | align="center"|4 | ||
− | | | + | | 30 января 2018 |
− | | | + | | Выпуклые множества || [https://yadi.sk/i/15LKx1bT3RxumB Конспект] [https://yadi.sk/i/WK_d5SMY3RxqrA Домашнее задание] |
|- | |- | ||
| align="center"|5 | | align="center"|5 | ||
− | | | + | | 6 февраля 2018 |
− | | | + | | Выпуклые функции || [https://yadi.sk/i/BqwOdQn33SGvDT Конспект] [https://yadi.sk/i/a4yVlrv13SC3RR Домашнее задание] |
|- | |- | ||
| align="center"|6 | | align="center"|6 | ||
− | | | + | | 13 февраля 2018 |
− | | | + | | Стандартные классы выпуклых задач. Эквивалентные преобразования. || [https://yadi.sk/i/9G2y4lsR3Sap5E Конспект] [https://yadi.sk/i/V7xlytX93SUddj Домашнее задание] |
|- | |- | ||
| align="center"|7 | | align="center"|7 | ||
− | | | + | | 20 февраля 2018 |
− | | | + | | Квазиньютоновские методы || [https://yadi.sk/i/RHJYF7gI3RGuTr Конспект] [https://yadi.sk/i/y_QCtCdy3Sdosy Домашнее задание] |
− | + | ||
|- | |- | ||
| align="center"|8 | | align="center"|8 | ||
− | | | + | | 27 февраля 2018 |
− | | | + | | Условия Каруша--Куна--Таккера. || [https://yadi.sk/i/DYtdnO-l3RGuUZ Конспект] [https://yadi.sk/i/zUVlI_1S3St5ye Домашнее задание] |
− | + | ||
|- | |- | ||
| align="center"|9 | | align="center"|9 | ||
− | | | + | | 6 марта 2018 |
− | | | + | | Двойственность. Сопряженные функции. || [https://yadi.sk/i/kPd5GjNr3TD5cH Конспект] [https://yadi.sk/i/qhSbMO4z3T7WNt Домашнее задание] |
− | + | ||
|- | |- | ||
| align="center"|10 | | align="center"|10 | ||
− | | | + | | 13 марта 2018 |
− | | | + | | Субдифференциалы || [https://yadi.sk/i/JBX1tO4X3Tg3fs Конспект] [https://yadi.sk/i/EjfW516-3Tg3jM Домашнее задание] |
− | + | ||
|- | |- | ||
| align="center"|11 | | align="center"|11 | ||
− | | | + | | 20 марта 2018 |
− | | | + | | Вычисление проекций и проксимальных отображений || |
|- | |- | ||
|} | |} | ||
− | |||
== Литература == | == Литература == | ||
# J. Nocedal, S. Wright. [http://libgen.io/book/index.php?md5=7016B74CFE6DC64C75864322EE4AA081 Numerical Optimization], Springer, 2006. | # J. Nocedal, S. Wright. [http://libgen.io/book/index.php?md5=7016B74CFE6DC64C75864322EE4AA081 Numerical Optimization], Springer, 2006. | ||
− | |||
− | |||
# A. Ben-Tal, A. Nemirovski. [http://www2.isye.gatech.edu/~nemirovs/OPTIII_LectureNotes2015.pdf Optimization III. Lecture Notes], 2013. | # A. Ben-Tal, A. Nemirovski. [http://www2.isye.gatech.edu/~nemirovs/OPTIII_LectureNotes2015.pdf Optimization III. Lecture Notes], 2013. | ||
− | |||
# Y. Nesterov. [http://libgen.io/book/index.php?md5=049F85DF4693D7C3DC27DDDD0720A096 Introductory Lectures on Convex Optimization: A Basic Course], Springer, 2003. | # Y. Nesterov. [http://libgen.io/book/index.php?md5=049F85DF4693D7C3DC27DDDD0720A096 Introductory Lectures on Convex Optimization: A Basic Course], Springer, 2003. | ||
− | # | + | # Ю.Е. Нестеров. [https://mipt.ru/dcam/upload/abb/nesterovfinal-arpgzk47dcy.pdf Методы выпуклой оптимизации], МЦНМО, 2010 |
− | # | + | # S. Boyd, L. Vandenberghe. [http://www.stanford.edu/~boyd/cvxbook/ Convex Optimization], Cambridge University Press, 2004. |
− | # | + | # D. Bertsekas. [http://libgen.io/book/index.php?md5=D0DDDF4CF756D16AE5AA77C87ECDEDDA Convex Analysis and Optimization], Athena Scientific, 2003. |
+ | # Б.Т. Поляк. [http://premolab.ru/sites/default/files/polyak-optimizationintro.djvu Введение в оптимизацию], Наука, 1983. | ||
+ | # J. Duchi. [https://stanford.edu/~jduchi/PCMIConvex/Duchi16.pdf Introductory Lectures on Stochastic Optimization], Graduate Summer School Lectures, 2016. | ||
+ | # S. Sra et al.. [http://libgen.io/book/index.php?md5=9799B67D2A9C45DCAC9D323252054DAF Optimization for Machine Learning], MIT Press, 2011. |
Текущая версия на 12:07, 23 марта 2018
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.
Семинаристы:
Группа | Семинарист | Расписание | Инвайт для anytask |
---|---|---|---|
151 (МОП) | Родоманов Антон Олегович | вторник, 15:10 – 16:30, ауд. 503 | 91aHb6E |
152 (МОП) | Дойков Никита Владимирович | вторник, 15:10 – 16:30, ауд. 618 | tHxrPO6 |
155 (РС) | Шаповалов Никита Анатольевич | вторник, 15:10 – 16:30, ауд. 301 | xtdRi1f |
156 (ТИ) | Тюрин Александр Игоревич | вторник, 18:10 – 19:30, ауд. 306 | j2OlXCE |
Группа в Telegram для вопросов по курсу: https://t.me/joinchat/CzWHMFEeRHIDcNVdHfWTug.
Таблица с оценками по курсу: https://docs.google.com/spreadsheets/d/1i744zsMejvdS_xjtJSQIXccX9g0ywrklNRIURG23K0M/edit?usp=sharing.
Список вопросов к экзамену: https://yadi.sk/i/TN2h4SEm3TV2VT.
Внимание! Консультация к экзамену состоится в ближайшую субботу, 24 марта, в ауд. 509. Начало в 14-00.
Система выставления оценок по курсу
- В рамках курса предполагается три практических задания, некоторое количество проверочных работ на семинарах и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
- В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону.
- В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за проверочные работы на семинарах.
Практические задания
Правила сдачи заданий
В рамках курса предполагается сдача нескольких практических заданий. Практические задания сдаются в систему anytask. Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.2 балла в день.
Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Лекции
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 9 января 2018 | Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. | |
2 | 16 января 2018 | Точная одномерная оптимизация. | |
3 | 23 января 2018 | Неточная одномерная оптимизация. Метод градиентного спуска. | |
4 | 30 января 2018 | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. | |
5 | 6 февраля 2018 | Метод сопряжённых градиентов для решения СЛАУ. | |
6 | 13 февраля 2018 | Неточный метод Ньютона. Разностные производные. | |
7 | 20 февраля 2018 | Квазиньютоновские методы. Метод L-BFGS. | |
8 | 27 февраля 2018 | Задачи условной оптимизации: условия ККТ. | |
9 | 6 марта 2018 | Выпуклые задачи оптимизации. Двойственность. Метод барьеров. | |
10 | 13 марта 2018 | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. | |
11 | 20 марта 2018 | Стохастическая оптимизация. |
Семинары
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 9 января 2018 | Скорости сходимости. Матричные вычисления. | Конспект Домашнее задание |
2 | 16 января 2018 | Матрично-векторное дифференцирование (часть 1) | Конспект Домашнее задание |
3 | 23 января 2018 | Матрично-векторное дифференцирование (часть 2). Градиентный спуск. | Презентация Домашнее задание |
4 | 30 января 2018 | Выпуклые множества | Конспект Домашнее задание |
5 | 6 февраля 2018 | Выпуклые функции | Конспект Домашнее задание |
6 | 13 февраля 2018 | Стандартные классы выпуклых задач. Эквивалентные преобразования. | Конспект Домашнее задание |
7 | 20 февраля 2018 | Квазиньютоновские методы | Конспект Домашнее задание |
8 | 27 февраля 2018 | Условия Каруша--Куна--Таккера. | Конспект Домашнее задание |
9 | 6 марта 2018 | Двойственность. Сопряженные функции. | Конспект Домашнее задание |
10 | 13 марта 2018 | Субдифференциалы | Конспект Домашнее задание |
11 | 20 марта 2018 | Вычисление проекций и проксимальных отображений |
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
- Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
- J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.