Непрерывная оптимизация — различия между версиями
Dkropotov (обсуждение | вклад) |
(Добавлены темы семинаров.) |
||
Строка 82: | Строка 82: | ||
== Семинары == | == Семинары == | ||
− | |||
{| class = "wikitable" | {| class = "wikitable" | ||
|+ | |+ | ||
Строка 91: | Строка 90: | ||
|- | |- | ||
| align="center"|1 | | align="center"|1 | ||
− | | | + | | 9 января 2018 |
− | | Скорости сходимости. Матричные вычисления. || | + | | Скорости сходимости. Матричные вычисления. || |
|- | |- | ||
| align="center"|2 | | align="center"|2 | ||
− | | | + | | 16 января 2018 |
− | | | + | | Матрично-векторное дифференцирование (часть 1) || |
|- | |- | ||
| align="center"|3 | | align="center"|3 | ||
− | | | + | | 23 января 2018 |
− | | | + | | Матрично-векторное дифференцирование (часть 2). Градиентный спуск. || |
|- | |- | ||
| align="center"|4 | | align="center"|4 | ||
− | | | + | | 30 января 2018 |
− | | | + | | Выпуклые множества || |
|- | |- | ||
| align="center"|5 | | align="center"|5 | ||
− | | | + | | 6 февраля 2018 |
− | | | + | | Выпуклые функции || |
|- | |- | ||
| align="center"|6 | | align="center"|6 | ||
− | | | + | | 13 февраля 2018 |
− | | | + | | Стандартные классы выпуклых задач. Эквивалентные преобразования. || |
|- | |- | ||
| align="center"|7 | | align="center"|7 | ||
− | | | + | | 20 февраля 2018 |
− | | | + | | Квазиньютоновские методы || |
− | + | ||
|- | |- | ||
| align="center"|8 | | align="center"|8 | ||
− | | | + | | 27 февраля 2018 |
− | | | + | | Условия Каруша--Куна--Таккера. || |
− | + | ||
|- | |- | ||
| align="center"|9 | | align="center"|9 | ||
− | | | + | | 6 марта 2018 |
− | | | + | | Двойственность. Сопряженные функции. || |
− | | | + | |
|- | |- | ||
| align="center"|10 | | align="center"|10 | ||
− | | | + | | 13 марта 2018 |
− | | | + | | Субдифференциалы || |
− | + | ||
|- | |- | ||
| align="center"|11 | | align="center"|11 | ||
− | | | + | | 20 марта 2018 |
− | | | + | | Вычисление проекций и проксимальных отображений || |
|- | |- | ||
|} | |} | ||
− | |||
== Литература == | == Литература == |
Версия 19:39, 8 января 2018
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.
Семинаристы:
Группа | Семинарист | Расписание | Инвайт для anytask |
---|---|---|---|
151 (МОП) | Родоманов Антон Олегович | вторник, 15:10 – 16:30, ауд. 219 | 91aHb6E |
152 (МОП) | Дойков Никита Владимирович | вторник, 15:10 – 16:30, ауд. 618 | tHxrPO6 |
155 (РС) | Шаповалов Никита Анатольевич | вторник, 15:10 – 16:30, ауд. 503 | xtdRi1f |
156 (ТИ) | Тюрин Александр Игоревич | вторник, 18:10 – 19:30, ауд. 306 | j2OlXCE |
Система выставления оценок по курсу
- В рамках курса предполагается три практических задания, некоторое количество проверочных работ на семинарах и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
- В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону.
- В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за проверочные работы на семинарах.
Правила сдачи заданий
В рамках курса предполагается сдача нескольких практических заданий. Практические задания сдаются в систему anytask. Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.2 балла в день.
Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Лекции
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 9 января 2018 | Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. | |
2 | 16 января 2018 | Точная одномерная оптимизация. | |
3 | 23 января 2018 | Неточная одномерная оптимизация. Метод градиентного спуска. | |
4 | 30 января 2018 | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. | |
5 | 6 февраля 2018 | Метод сопряжённых градиентов для решения СЛАУ. | |
6 | 13 февраля 2018 | Неточный метод Ньютона. Разностные производные. | |
7 | 20 февраля 2018 | Квазиньютоновские методы. Метод L-BFGS. | |
8 | 27 февраля 2018 | Задачи условной оптимизации: условия ККТ. | |
9 | 6 марта 2018 | Выпуклые задачи оптимизации. Двойственность. Метод барьеров. | |
10 | 13 марта 2018 | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. | |
11 | 20 марта 2018 | Стохастическая оптимизация. |
Семинары
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 9 января 2018 | Скорости сходимости. Матричные вычисления. | |
2 | 16 января 2018 | Матрично-векторное дифференцирование (часть 1) | |
3 | 23 января 2018 | Матрично-векторное дифференцирование (часть 2). Градиентный спуск. | |
4 | 30 января 2018 | Выпуклые множества | |
5 | 6 февраля 2018 | Выпуклые функции | |
6 | 13 февраля 2018 | Стандартные классы выпуклых задач. Эквивалентные преобразования. | |
7 | 20 февраля 2018 | Квазиньютоновские методы | |
8 | 27 февраля 2018 | Условия Каруша--Куна--Таккера. | |
9 | 6 марта 2018 | Двойственность. Сопряженные функции. | |
10 | 13 марта 2018 | Субдифференциалы | |
11 | 20 марта 2018 | Вычисление проекций и проксимальных отображений |
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Б. Поляк. Введение в оптимизацию, Наука, 1983.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
- A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
- W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.