Непрерывная оптимизация — различия между версиями
Dkropotov (обсуждение | вклад) |
Dkropotov (обсуждение | вклад) |
||
Строка 37: | Строка 37: | ||
Все домашние и практические задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны. | Все домашние и практические задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны. | ||
+ | --> | ||
== Лекции == | == Лекции == | ||
− | {| class = " | + | {| class = "wikitable" |
|+ | |+ | ||
! № п/п | ! № п/п | ||
Строка 47: | Строка 48: | ||
|- | |- | ||
| align="center"|1 | | align="center"|1 | ||
− | | | + | | 9 января 2018 |
− | | Введение в курс. | + | | Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. || |
|- | |- | ||
| align="center"|2 | | align="center"|2 | ||
− | | | + | | 16 января 2018 |
| Точная одномерная оптимизация. || | | Точная одномерная оптимизация. || | ||
|- | |- | ||
| align="center"|3 | | align="center"|3 | ||
− | | | + | | 23 января 2018 |
− | | Неточная одномерная оптимизация | + | | Неточная одномерная оптимизация. Метод градиентного спуска. || |
|- | |- | ||
| align="center"|4 | | align="center"|4 | ||
− | | | + | | 30 января 2018 |
| Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. || | | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. || | ||
|- | |- | ||
| align="center"|5 | | align="center"|5 | ||
− | | | + | | 6 февраля 2018 |
− | | | + | | Метод сопряжённых градиентов для решения СЛАУ. || |
|- | |- | ||
| align="center"|6 | | align="center"|6 | ||
− | | | + | | 13 февраля 2018 |
| Неточный метод Ньютона. Разностные производные. || | | Неточный метод Ньютона. Разностные производные. || | ||
|- | |- | ||
| align="center"|7 | | align="center"|7 | ||
− | | | + | | 20 февраля 2018 |
| Квазиньютоновские методы. Метод L-BFGS. || | | Квазиньютоновские методы. Метод L-BFGS. || | ||
|- | |- | ||
| align="center"|8 | | align="center"|8 | ||
− | | | + | | 27 февраля 2018 |
| Задачи условной оптимизации: условия ККТ. || | | Задачи условной оптимизации: условия ККТ. || | ||
|- | |- | ||
| align="center"|9 | | align="center"|9 | ||
− | | | + | | 6 марта 2018 |
| Выпуклые задачи оптимизации. Двойственность. Метод барьеров. || | | Выпуклые задачи оптимизации. Двойственность. Метод барьеров. || | ||
|- | |- | ||
| align="center"|10 | | align="center"|10 | ||
− | | | + | | 13 марта 2018 |
| Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. || | | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. || | ||
|- | |- | ||
| align="center"|11 | | align="center"|11 | ||
− | | | + | | 20 марта 2018 |
| Стохастическая оптимизация. || | | Стохастическая оптимизация. || | ||
|- | |- | ||
Строка 93: | Строка 94: | ||
== Семинары == | == Семинары == | ||
− | {| class = " | + | <!-- |
+ | {| class = "wikitable" | ||
|+ | |+ | ||
! № п/п | ! № п/п |
Версия 16:27, 8 января 2018
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.
Семинаристы:
Группа | Семинарист | Расписание |
---|---|---|
151 (МОП) | Родоманов Антон Олегович | вторник, 15:10 – 16:30, ауд. 219 |
152 (МОП) | Дойков Никита Владимирович | вторник, 15:10 – 16:30, ауд. 618 |
155 (РС) | Шаповалов Никита Анатольевич | вторник, 15:10 – 16:30, ауд. 503 |
156 (ТИ) | Тюрин Александр Игоревич | вторник, 18:10 – 19:30, ауд. 306 |
Лекции
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 9 января 2018 | Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. | |
2 | 16 января 2018 | Точная одномерная оптимизация. | |
3 | 23 января 2018 | Неточная одномерная оптимизация. Метод градиентного спуска. | |
4 | 30 января 2018 | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. | |
5 | 6 февраля 2018 | Метод сопряжённых градиентов для решения СЛАУ. | |
6 | 13 февраля 2018 | Неточный метод Ньютона. Разностные производные. | |
7 | 20 февраля 2018 | Квазиньютоновские методы. Метод L-BFGS. | |
8 | 27 февраля 2018 | Задачи условной оптимизации: условия ККТ. | |
9 | 6 марта 2018 | Выпуклые задачи оптимизации. Двойственность. Метод барьеров. | |
10 | 13 марта 2018 | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. | |
11 | 20 марта 2018 | Стохастическая оптимизация. |
Семинары
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Б. Поляк. Введение в оптимизацию, Наука, 1983.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
- A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
- W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.