Непрерывная оптимизация
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.
Семинаристы:
Группа | Семинарист | Расписание |
---|---|---|
151 (МОП) | Родоманов Антон Олегович | вторник, 15:10 – 16:30, ауд. 219 |
152 (МОП) | Дойков Никита Владимирович | вторник, 15:10 – 16:30, ауд. 618 |
155 (РС) | Шаповалов Никита Анатольевич | вторник, 15:10 – 16:30, ауд. 503 |
156 (ТИ) | Тюрин Александр Игоревич | вторник, 18:10 – 19:30, ауд. 306 |
Лекции
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 9 января 2018 | Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. | |
2 | 16 января 2018 | Точная одномерная оптимизация. | |
3 | 23 января 2018 | Неточная одномерная оптимизация. Метод градиентного спуска. | |
4 | 30 января 2018 | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. | |
5 | 6 февраля 2018 | Метод сопряжённых градиентов для решения СЛАУ. | |
6 | 13 февраля 2018 | Неточный метод Ньютона. Разностные производные. | |
7 | 20 февраля 2018 | Квазиньютоновские методы. Метод L-BFGS. | |
8 | 27 февраля 2018 | Задачи условной оптимизации: условия ККТ. | |
9 | 6 марта 2018 | Выпуклые задачи оптимизации. Двойственность. Метод барьеров. | |
10 | 13 марта 2018 | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. | |
11 | 20 марта 2018 | Стохастическая оптимизация. |
Семинары
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Б. Поляк. Введение в оптимизацию, Наука, 1983.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
- A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
- W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.