Непрерывная оптимизация — различия между версиями
(→Литература) |
|||
| Строка 141: | Строка 141: | ||
== Литература == | == Литература == | ||
# J. Nocedal, S. Wright. [http://libgen.io/book/index.php?md5=7016B74CFE6DC64C75864322EE4AA081 Numerical Optimization], Springer, 2006. | # J. Nocedal, S. Wright. [http://libgen.io/book/index.php?md5=7016B74CFE6DC64C75864322EE4AA081 Numerical Optimization], Springer, 2006. | ||
| − | |||
| − | |||
# A. Ben-Tal, A. Nemirovski. [http://www2.isye.gatech.edu/~nemirovs/OPTIII_LectureNotes2015.pdf Optimization III. Lecture Notes], 2013. | # A. Ben-Tal, A. Nemirovski. [http://www2.isye.gatech.edu/~nemirovs/OPTIII_LectureNotes2015.pdf Optimization III. Lecture Notes], 2013. | ||
| − | |||
# Y. Nesterov. [http://libgen.io/book/index.php?md5=049F85DF4693D7C3DC27DDDD0720A096 Introductory Lectures on Convex Optimization: A Basic Course], Springer, 2003. | # Y. Nesterov. [http://libgen.io/book/index.php?md5=049F85DF4693D7C3DC27DDDD0720A096 Introductory Lectures on Convex Optimization: A Basic Course], Springer, 2003. | ||
| − | # | + | # Ю.Е. Нестеров. [https://mipt.ru/dcam/upload/abb/nesterovfinal-arpgzk47dcy.pdf Методы выпуклой оптимизации], МЦНМО, 2010 |
| − | # | + | # S. Boyd, L. Vandenberghe. [http://www.stanford.edu/~boyd/cvxbook/ Convex Optimization], Cambridge University Press, 2004. |
| − | # | + | # D. Bertsekas. [http://libgen.io/book/index.php?md5=D0DDDF4CF756D16AE5AA77C87ECDEDDA Convex Analysis and Optimization], Athena Scientific, 2003. |
| + | # Б.Т. Поляк. [http://premolab.ru/sites/default/files/polyak-optimizationintro.djvu Введение в оптимизацию], Наука, 1983. | ||
| + | # J. Duchi. [https://stanford.edu/~jduchi/PCMIConvex/Duchi16.pdf Introductory Lectures on Stochastic Optimization], Graduate Summer School Lectures, 2016. | ||
| + | # S. Sra et al.. [http://libgen.io/book/index.php?md5=9799B67D2A9C45DCAC9D323252054DAF Optimization for Machine Learning], MIT Press, 2011. | ||
Версия 12:03, 22 января 2018
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.
Семинаристы:
| Группа | Семинарист | Расписание | Инвайт для anytask |
|---|---|---|---|
| 151 (МОП) | Родоманов Антон Олегович | вторник, 15:10 – 16:30, ауд. 219 | 91aHb6E |
| 152 (МОП) | Дойков Никита Владимирович | вторник, 15:10 – 16:30, ауд. 618 | tHxrPO6 |
| 155 (РС) | Шаповалов Никита Анатольевич | вторник, 15:10 – 16:30, ауд. 503 | xtdRi1f |
| 156 (ТИ) | Тюрин Александр Игоревич | вторник, 18:10 – 19:30, ауд. 306 | j2OlXCE |
Группа в Telegram для вопросов по курсу: https://t.me/joinchat/CzWHMFEeRHIDcNVdHfWTug.
Таблица с оценками по курсу: https://docs.google.com/spreadsheets/d/1i744zsMejvdS_xjtJSQIXccX9g0ywrklNRIURG23K0M/edit?usp=sharing.
Система выставления оценок по курсу
- В рамках курса предполагается три практических задания, некоторое количество проверочных работ на семинарах и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
- В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону.
- В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за проверочные работы на семинарах.
Правила сдачи заданий
В рамках курса предполагается сдача нескольких практических заданий. Практические задания сдаются в систему anytask. Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.2 балла в день.
Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Лекции
| № п/п | Дата | Занятие | Материалы |
|---|---|---|---|
| 1 | 9 января 2018 | Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. | |
| 2 | 16 января 2018 | Точная одномерная оптимизация. | |
| 3 | 23 января 2018 | Неточная одномерная оптимизация. Метод градиентного спуска. | |
| 4 | 30 января 2018 | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. | |
| 5 | 6 февраля 2018 | Метод сопряжённых градиентов для решения СЛАУ. | |
| 6 | 13 февраля 2018 | Неточный метод Ньютона. Разностные производные. | |
| 7 | 20 февраля 2018 | Квазиньютоновские методы. Метод L-BFGS. | |
| 8 | 27 февраля 2018 | Задачи условной оптимизации: условия ККТ. | |
| 9 | 6 марта 2018 | Выпуклые задачи оптимизации. Двойственность. Метод барьеров. | |
| 10 | 13 марта 2018 | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. | |
| 11 | 20 марта 2018 | Стохастическая оптимизация. |
Семинары
| № п/п | Дата | Занятие | Материалы |
|---|---|---|---|
| 1 | 9 января 2018 | Скорости сходимости. Матричные вычисления. | Конспект Домашнее задание |
| 2 | 16 января 2018 | Матрично-векторное дифференцирование (часть 1) | Конспект Домашнее задание |
| 3 | 23 января 2018 | Матрично-векторное дифференцирование (часть 2). Градиентный спуск. | Презентация |
| 4 | 30 января 2018 | Выпуклые множества | Конспект |
| 5 | 6 февраля 2018 | Выпуклые функции | Конспект |
| 6 | 13 февраля 2018 | Стандартные классы выпуклых задач. Эквивалентные преобразования. | Конспект |
| 7 | 20 февраля 2018 | Квазиньютоновские методы | Конспект |
| 8 | 27 февраля 2018 | Условия Каруша--Куна--Таккера. | Конспект |
| 9 | 6 марта 2018 | Двойственность. Сопряженные функции. | Конспект |
| 10 | 13 марта 2018 | Субдифференциалы | |
| 11 | 20 марта 2018 | Вычисление проекций и проксимальных отображений |
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
- Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
- J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
