Непрерывная оптимизация (МОП)/2020 — различия между версиями
(→Практические ДЗ: Дедлайн по третьему практическому ДЗ сдвинут на неделю вперёд) |
Eternius (обсуждение | вклад) |
||
Строка 40: | Строка 40: | ||
Задание 1. [https://drive.google.com/open?id=1wmwhCqFBjIfeMSS6VJJYHfDMBC_NGNzh Выпуклые множества и функции]. Срок сдачи - 14 марта (суббота), 23:59. | Задание 1. [https://drive.google.com/open?id=1wmwhCqFBjIfeMSS6VJJYHfDMBC_NGNzh Выпуклые множества и функции]. Срок сдачи - 14 марта (суббота), 23:59. | ||
+ | |||
+ | Задание 2. [https://drive.google.com/open?id=1VAJA_no969xvp5x7CkoZ9JXmg6u9W-jD Условия Каруша--Куна--Таккера. Двойственность.] Срок сдачи - 20 мая (среда), 23.59. | ||
== Практические ДЗ == | == Практические ДЗ == |
Версия 01:58, 7 мая 2020
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Преподаватели: Кропотов Дмитрий Александрович, Гадецкий Артём, Шаповалов Никита, Таскынов Ануар, Гринберг Вадим, Бобров Евгений.
Группа | Расписание | Ссылка на zoom | Инвайт для anytask |
---|---|---|---|
171 | понедельник, лекция в 18:10, семинар в 19:40 | https://zoom.us/j/531942418 | gQHw1vz |
172 | понедельник, лекция в 18:10, семинар в 19:40 | https://zoom.us/j/531942418 | 0iPflMg |
Группа в Telegram для вопросов по курсу: ссылка
Таблица с оценками по курсу: ссылка
Записи занятий в zoom: ссылка
Система выставления оценок по курсу
В рамках курса предполагается некоторое количество теоретических и практических домашних заданий, а также устный экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
Итоговая оценка | Условия |
---|---|
>=8 | Сданы все задания, кроме одного теоретического задания (на оценку >=4), экзамен сдан на оценку >= 6 |
>=6 | Сданы все задания, кроме трех (на оценку >=4), экзамен сдан на оценку >= 4 |
>=4 | Сданы все задания, кроме пяти (на оценку >=4), экзамен сдан на оценку >= 4 |
Правила сдачи заданий
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). Эти задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.
Теоретические ДЗ
Задание 1. Выпуклые множества и функции. Срок сдачи - 14 марта (суббота), 23:59.
Задание 2. Условия Каруша--Куна--Таккера. Двойственность. Срок сдачи - 20 мая (среда), 23.59.
Практические ДЗ
Задание 1. Методы градиентного спуска и Ньютона. Срок сдачи - 3 марта (вторник), 23:59.
Задание 2. Продвинутые методы безусловной оптимизации. Срок сдачи - 27 марта (пятница), 23:59.
Задание 3. Метод барьеров. Срок сдачи - 23 мая (суббота), 23:59.
Лекции
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 15 января 2020 | Введение в курс. Скорости сходимости итерационных процессов. | Конспект |
2 | 20 января 2020 | Одномерная оптимизация. | |
3 | 27 января 2020 | Метод градиентного спуска. | |
4 | 3 февраля 2020 | Матричные разложения. Метод Ньютона. | |
5 | 10 февраля 2020 | Метод сопряжённых градиентов для решения СЛАУ. | |
6 | 17 февраля 2020 | Безгессианный метод Ньютона. Разностное дифференцирование. | |
7 | 2 марта 2020 | Квазиньютоновские методы оптимизации | |
8 | 16 марта 2020 | Условия Каруша-Куна-Таккера для условной оптимизации | |
9 | 6 апреля 2020 | Двойственные задачи, симплекс-метод для линейного программирования | видео |
10 | 13 апреля 2020 | Метод Ньютона и логарифмических барьеров для выпуклых задач условной оптимизации | видео |
11 | 20 апреля 2020 | Негладкая оптимизация. Субградиентный метод. | видео |
12 | 27 апреля 2020 | Проксимальный градиентный метод | видео |
Семинары
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 15 января 2020 | Матрично-векторное дифференцирование. | Конспект |
2 | 20 января 2020 | Неточная одномерная оптимизация. Классы функций для оптимизации. | |
3 | 27 января 2020 | Метод градиентного спуска. | ipynb |
4 | 3 февраля 2020 | Выпуклые множества. | Конспект |
5 | 10 февраля 2020 | Нелинейный метод сопряжённых градиентов. | Презентация |
6 | 17 февраля 2020 | Выпуклые функции. | Конспект |
7 | 2 марта 2020 | Матричные преобразования в квазиньютоновских методах | Конспект |
8 | 16 марта 2020 | Задачи условной оптимизации | Конспекты |
9 | 6 апреля 2020 | Двойственные задачи, эквивалентные преобразования задач | видео Конспект |
10 | 13 апреля 2020 | Преобразование задач к стандартному виду | видео Конспект |
11 | 20 апреля 2020 | Субдифференциальное исчисление | видео Конспект |
12 | 27 апреля 2020 | Проекции и проксимальные операторы | видео Заметки с семинара |
Дополнительный материал
- Конспект по матрично-векторным скалярным произведениям и нормам.
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
- Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
- J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
- Y. Nesterov. Lectures on convex optimization, Springer, 2018.