Непрерывная оптимизация/2019 — различия между версиями
Dkropotov (обсуждение | вклад) (Новая страница: «__NOTOC__ Методы оптимизации лежат в основе решения многих задач компьютерных наук. Наприме…») |
Dkropotov (обсуждение | вклад) |
||
Строка 5: | Строка 5: | ||
'''Семинаристы и ассистенты''': | '''Семинаристы и ассистенты''': | ||
− | Гадецкий Артём, Гринберг Вадим, Шаповалов Никита, Таскынов Ануар | + | Гадецкий Артём, Гринберг Вадим, Шаповалов Никита, Таскынов Ануар. |
{| class="wikitable" | {| class="wikitable" | ||
Строка 41: | Строка 41: | ||
|- | |- | ||
| align="center"|2 | | align="center"|2 | ||
− | | | + | | 22 января 2019 |
| Неточная одномерная оптимизация. Метод градиентного спуска. || | | Неточная одномерная оптимизация. Метод градиентного спуска. || | ||
|- | |- | ||
| align="center"|3 | | align="center"|3 | ||
− | | | + | | 29 января 2019 |
| Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. || | | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. || | ||
|- | |- | ||
| align="center"|4 | | align="center"|4 | ||
− | | | + | | 5 февраля 2019 |
| Метод сопряжённых градиентов для решения СЛАУ. || | | Метод сопряжённых градиентов для решения СЛАУ. || | ||
|- | |- | ||
| align="center"|5 | | align="center"|5 | ||
− | | | + | | 12 февраля 2019 |
− | | | + | | Квазиньютоновские методы. Метод L-BFGS. || |
|- | |- | ||
| align="center"|6 | | align="center"|6 | ||
− | | | + | | 19 февраля 2019 |
− | | | + | | Задачи условной оптимизации: условия ККТ. || |
|- | |- | ||
| align="center"|7 | | align="center"|7 | ||
− | | | + | | 26 февраля 2019 |
− | | | + | | Метод Ньютона и метод барьеров для выпуклых задач условной оптимизации. || |
|- | |- | ||
| align="center"|8 | | align="center"|8 | ||
− | | | + | | 5 марта 2019 |
− | | | + | | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. || |
|- | |- | ||
| align="center"|9 | | align="center"|9 | ||
− | | | + | | 12 марта 2019 |
− | | | + | | Стохастическая оптимизация. || |
|- | |- | ||
| align="center"|10 | | align="center"|10 | ||
− | | | + | | 19 марта 2019 |
− | | | + | | Риманова оптимизация. || |
|- | |- | ||
|} | |} | ||
− | == Семинары == | + | == Семинары (план) == |
{| class = "wikitable" | {| class = "wikitable" | ||
|+ | |+ | ||
Строка 88: | Строка 88: | ||
| align="center"|1 | | align="center"|1 | ||
| 9 января 2018 | | 9 января 2018 | ||
− | | | + | | Матрично-векторное дифференцирование (часть 1). || |
|- | |- | ||
| align="center"|2 | | align="center"|2 | ||
| 16 января 2018 | | 16 января 2018 | ||
− | | Матрично-векторное дифференцирование (часть | + | | Матрично-векторное дифференцирование (часть 2). Скорости сходимости. Условия оптимальности. || |
|- | |- | ||
| align="center"|3 | | align="center"|3 | ||
| 23 января 2018 | | 23 января 2018 | ||
− | | | + | | Разностное дифференцирование. Методы градиентного спуска и Ньютона на практике. || |
|- | |- | ||
| align="center"|4 | | align="center"|4 | ||
| 30 января 2018 | | 30 января 2018 | ||
− | | Выпуклые множества || | + | | Выпуклые множества и функции || |
|- | |- | ||
| align="center"|5 | | align="center"|5 | ||
| 6 февраля 2018 | | 6 февраля 2018 | ||
− | | | + | | Нелинейный метод сопряжённых градиентов. Предобуславливание. || |
|- | |- | ||
| align="center"|6 | | align="center"|6 | ||
| 13 февраля 2018 | | 13 февраля 2018 | ||
− | | | + | | Условия ККТ. Эквивалентные преобразования задач. || |
|- | |- | ||
| align="center"|7 | | align="center"|7 | ||
| 20 февраля 2018 | | 20 февраля 2018 | ||
− | | | + | | Двойственность. Сопряжённые функции / нормы. || |
|- | |- | ||
| align="center"|8 | | align="center"|8 | ||
− | | | + | | 6 марта 2018 |
− | | | + | | Субдифференциальное исчисление. || |
|- | |- | ||
| align="center"|9 | | align="center"|9 | ||
− | | | + | | 13 марта 2018 |
− | | | + | | Проксимальные операторы. || |
|- | |- | ||
| align="center"|10 | | align="center"|10 | ||
− | |||
− | |||
− | |||
− | |||
| 20 марта 2018 | | 20 марта 2018 | ||
− | | | + | | Ускоренный проксимальный градиентный метод || |
|- | |- | ||
|} | |} |
Версия 18:15, 14 января 2019
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 402 с 13:40 до 15:00.
Семинаристы и ассистенты: Гадецкий Артём, Гринберг Вадим, Шаповалов Никита, Таскынов Ануар.
Группа | Расписание | Инвайт для anytask |
---|---|---|
161 | вторник, 15:10 – 16:30, ауд. 503 | ohYkZaV |
162 | вторник, 15:10 – 16:30, ауд. 505 | 5VhbMSK |
Группа в Telegram для вопросов по курсу:
Система выставления оценок по курсу
- В рамках курса предполагается три практических задания, четыре теоретических домашних заданий и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
- В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону.
- В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за теоретические домашние задания.
- Итоговая оценка за практические или теоретические задания с учётом всех бонусов не может превышать максимальных 10 баллов.
Правила сдачи заданий
Практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.2 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке.
Лекции (план)
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 15 января 2019 | Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов. | |
2 | 22 января 2019 | Неточная одномерная оптимизация. Метод градиентного спуска. | |
3 | 29 января 2019 | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. | |
4 | 5 февраля 2019 | Метод сопряжённых градиентов для решения СЛАУ. | |
5 | 12 февраля 2019 | Квазиньютоновские методы. Метод L-BFGS. | |
6 | 19 февраля 2019 | Задачи условной оптимизации: условия ККТ. | |
7 | 26 февраля 2019 | Метод Ньютона и метод барьеров для выпуклых задач условной оптимизации. | |
8 | 5 марта 2019 | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. | |
9 | 12 марта 2019 | Стохастическая оптимизация. | |
10 | 19 марта 2019 | Риманова оптимизация. |
Семинары (план)
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 9 января 2018 | Матрично-векторное дифференцирование (часть 1). | |
2 | 16 января 2018 | Матрично-векторное дифференцирование (часть 2). Скорости сходимости. Условия оптимальности. | |
3 | 23 января 2018 | Разностное дифференцирование. Методы градиентного спуска и Ньютона на практике. | |
4 | 30 января 2018 | Выпуклые множества и функции | |
5 | 6 февраля 2018 | Нелинейный метод сопряжённых градиентов. Предобуславливание. | |
6 | 13 февраля 2018 | Условия ККТ. Эквивалентные преобразования задач. | |
7 | 20 февраля 2018 | Двойственность. Сопряжённые функции / нормы. | |
8 | 6 марта 2018 | Субдифференциальное исчисление. | |
9 | 13 марта 2018 | Проксимальные операторы. | |
10 | 20 марта 2018 | Ускоренный проксимальный градиентный метод |
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
- Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
- J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.