Непрерывная оптимизация/2019

Материал из Wiki - Факультет компьютерных наук
Версия от 18:02, 14 января 2019; Dkropotov (обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 402 с 13:40 до 15:00.

Семинаристы и ассистенты: Гадецкий Артём, Гринберг Вадим, Шаповалов Никита, Таскынов Ануар

Группа Расписание Инвайт для anytask
161 вторник, 15:10 – 16:30, ауд. 503 ohYkZaV
162 вторник, 15:10 – 16:30, ауд. 505 5VhbMSK

Группа в Telegram для вопросов по курсу:

Система выставления оценок по курсу

  1. В рамках курса предполагается три практических задания, четыре теоретических домашних заданий и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
  2. В оценке за курс 60% составляет накопленная оценка за модуль и 40% - оценка за экзамен. Для получения финального результата (0–10) оценка округляется в большую сторону.
  3. В накопленной оценке 50% составляют баллы за практические задания и 50% - баллы за теоретические домашние задания.
  4. Итоговая оценка за практические или теоретические задания с учётом всех бонусов не может превышать максимальных 10 баллов.

Правила сдачи заданий

Практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.2 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке.

Лекции (план)

№ п/п Дата Занятие Материалы
1 15 января 2019 Введение в курс. Классы функций для оптимизации. Скорости сходимости итерационных процессов.
2 23 января 2019 Неточная одномерная оптимизация. Метод градиентного спуска.
3 30 января 2019 Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач.
4 6 февраля 2019 Метод сопряжённых градиентов для решения СЛАУ.
5 13 февраля 2019 Неточный метод Ньютона. Разностные производные.
6 20 февраля 2019 Квазиньютоновские методы. Метод L-BFGS.
7 27 февраля 2019 Задачи условной оптимизации: условия ККТ.
8 6 марта 2019 Выпуклые задачи оптимизации. Двойственность. Метод барьеров.
9 13 марта 2019 Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы.
10 20 марта 2019 Стохастическая оптимизация.

Семинары

№ п/п Дата Занятие Материалы
1 9 января 2018 Скорости сходимости. Матричные вычисления. Конспект Домашнее задание
2 16 января 2018 Матрично-векторное дифференцирование (часть 1) Конспект Домашнее задание
3 23 января 2018 Матрично-векторное дифференцирование (часть 2). Градиентный спуск. Презентация Домашнее задание
4 30 января 2018 Выпуклые множества Конспект Домашнее задание
5 6 февраля 2018 Выпуклые функции Конспект Домашнее задание
6 13 февраля 2018 Стандартные классы выпуклых задач. Эквивалентные преобразования. Конспект Домашнее задание
7 20 февраля 2018 Квазиньютоновские методы Конспект Домашнее задание
8 27 февраля 2018 Условия Каруша--Куна--Таккера. Конспект Домашнее задание
9 6 марта 2018 Двойственность. Сопряженные функции. Конспект Домашнее задание
10 13 марта 2018 Субдифференциалы Конспект Домашнее задание
11 20 марта 2018 Вычисление проекций и проксимальных отображений

Литература

  1. J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
  2. A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
  3. Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
  4. Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
  5. S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
  6. D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
  7. Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
  8. J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
  9. S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.