Непрерывная оптимизация — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
Строка 37: Строка 37:
  
 
Все домашние и практические задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
 
Все домашние и практические задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
 +
-->
  
 
== Лекции ==
 
== Лекции ==
{| class = "standard"   
+
{| class = "wikitable"   
 
|+
 
|+
 
! № п/п
 
! № п/п
Строка 47: Строка 48:
 
|-
 
|-
 
| align="center"|1
 
| align="center"|1
| 10 января 2017
+
| 9 января 2018
| Введение в курс. Необходимое условие экстремума. Оракулы, скорости сходимости итерационных процессов. ||  
+
| Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. ||  
 
|-
 
|-
 
| align="center"|2
 
| align="center"|2
| 17 января 2017
+
| 16 января 2018
 
| Точная одномерная оптимизация. ||  
 
| Точная одномерная оптимизация. ||  
 
|-
 
|-
 
| align="center"|3
 
| align="center"|3
| 24 января 2017
+
| 23 января 2018
| Неточная одномерная оптимизация. Классы функций для оптимизации. Метод градиентного спуска. ||  
+
| Неточная одномерная оптимизация. Метод градиентного спуска. ||  
 
|-
 
|-
 
| align="center"|4
 
| align="center"|4
| 31 января 2017
+
| 30 января 2018
 
| Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. ||  
 
| Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. ||  
 
|-
 
|-
 
| align="center"|5
 
| align="center"|5
| 7 февраля 2017
+
| 6 февраля 2018
| Линейный метод сопряжённых градиентов. ||  
+
| Метод сопряжённых градиентов для решения СЛАУ. ||  
 
|-
 
|-
 
| align="center"|6
 
| align="center"|6
| 14 февраля 2017
+
| 13 февраля 2018
 
| Неточный метод Ньютона. Разностные производные. ||  
 
| Неточный метод Ньютона. Разностные производные. ||  
 
|-
 
|-
 
| align="center"|7
 
| align="center"|7
| 21 февраля 2017
+
| 20 февраля 2018
 
| Квазиньютоновские методы. Метод L-BFGS. ||  
 
| Квазиньютоновские методы. Метод L-BFGS. ||  
 
|-
 
|-
 
| align="center"|8
 
| align="center"|8
| 28 февраля 2017
+
| 27 февраля 2018
 
| Задачи условной оптимизации: условия ККТ. ||  
 
| Задачи условной оптимизации: условия ККТ. ||  
 
|-
 
|-
 
| align="center"|9
 
| align="center"|9
| 7 марта 2017
+
| 6 марта 2018
 
| Выпуклые задачи оптимизации. Двойственность. Метод барьеров. ||  
 
| Выпуклые задачи оптимизации. Двойственность. Метод барьеров. ||  
 
|-
 
|-
 
| align="center"|10
 
| align="center"|10
| 14 марта 2017
+
| 13 марта 2018
 
| Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. ||  
 
| Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. ||  
 
|-
 
|-
 
| align="center"|11
 
| align="center"|11
| 21 марта 2017
+
| 20 марта 2018
 
| Стохастическая оптимизация. ||  
 
| Стохастическая оптимизация. ||  
 
|-
 
|-
Строка 93: Строка 94:
  
 
== Семинары ==
 
== Семинары ==
{| class = "standard"   
+
<!--
 +
{| class = "wikitable"   
 
|+
 
|+
 
! № п/п
 
! № п/п

Версия 16:27, 8 января 2018

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.

Семинаристы:

Группа Семинарист Расписание
151 (МОП) Родоманов Антон Олегович вторник, 15:10 – 16:30, ауд. 219
152 (МОП) Дойков Никита Владимирович вторник, 15:10 – 16:30, ауд. 618
155 (РС) Шаповалов Никита Анатольевич вторник, 15:10 – 16:30, ауд. 503
156 (ТИ) Тюрин Александр Игоревич вторник, 18:10 – 19:30, ауд. 306


Лекции

№ п/п Дата Занятие Материалы
1 9 января 2018 Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов.
2 16 января 2018 Точная одномерная оптимизация.
3 23 января 2018 Неточная одномерная оптимизация. Метод градиентного спуска.
4 30 января 2018 Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач.
5 6 февраля 2018 Метод сопряжённых градиентов для решения СЛАУ.
6 13 февраля 2018 Неточный метод Ньютона. Разностные производные.
7 20 февраля 2018 Квазиньютоновские методы. Метод L-BFGS.
8 27 февраля 2018 Задачи условной оптимизации: условия ККТ.
9 6 марта 2018 Выпуклые задачи оптимизации. Двойственность. Метод барьеров.
10 13 марта 2018 Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы.
11 20 марта 2018 Стохастическая оптимизация.

Семинары

Литература

  1. J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
  2. S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
  3. S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
  4. A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
  5. Б. Поляк. Введение в оптимизацию, Наука, 1983.
  6. Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
  7. R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
  8. A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
  9. W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.