Методы оптимизации в машинном обучении 2023 — различия между версиями
Dkropotov (обсуждение | вклад) (Новая страница: «__NOTOC__ Внимание! Страница курса находится в стадии формирования. Методы оптимизации леж…») |
Dkropotov (обсуждение | вклад) |
||
(не показана одна промежуточная версия этого же участника) | |||
Строка 1: | Строка 1: | ||
__NOTOC__ | __NOTOC__ | ||
− | |||
− | |||
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности. | Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности. | ||
Строка 10: | Строка 8: | ||
! Группа !! Расписание !! Инвайт для anytask | ! Группа !! Расписание !! Инвайт для anytask | ||
|- | |- | ||
− | | align="center"|201 || пятница, лекция в 13:00 | + | | align="center"|201 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|nuYXlzP |
|- | |- | ||
− | | align="center"|202 || пятница, лекция в 13:00 | + | | align="center"|202 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|Zus8FGK |
|- | |- | ||
− | | align="center"|203 || пятница, лекция в 13:00 | + | | align="center"|203 || пятница, лекция в 13:00, семинар в 14:40, ауд. см. в [https://ruz.hse.ru/ РУЗе] || align="center"|H85FCXe |
|- | |- | ||
− | | Другие студенты || пятница, лекция в 13:00 | + | | Другие студенты || пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 || align="center"|ml0iZHo |
|} | |} | ||
− | + | Telegram для вопросов и объявлений по курсу: [https://t.me/+hFSF73A2XbY1NmUy чат], [https://t.me/+28iTtg-CT0syN2Uy канал] | |
+ | |||
+ | Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLEwK9wdS5g0o45P37r3hmD5Wbt-O2eWp2 ссылка] | ||
+ | |||
+ | Таблица с оценками: [https://docs.google.com/spreadsheets/d/1zU2LoKFSxAp-roAu7BOn9m5mV286QIk7LWzNU50rUq8/edit?usp=sharing ссылка] | ||
+ | |||
+ | == Экзамен == | ||
+ | Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404 (фамилии А-И) и R405 (фамилии К-Я). Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена. | ||
+ | |||
+ | [https://docs.google.com/spreadsheets/d/1TEUf9mbQXTm7V9fh3-5-pERD0iEiC1MTgMGFf3-bcSA/edit?usp=sharing Студенты], находящиеся на дистанционном обучении, сдают экзамен онлайн. Онлайн-экзамен также состоится 28 июня, начало в 10-00. [https://us02web.zoom.us/j/83656446742?pwd=elcwYVo3bmVRYk44UEhTeHVMYXhOQT09 Зум-ссылка]. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера. | ||
+ | |||
+ | [https://drive.google.com/file/d/1nOg9LHxZmUi7xj3Y5Uw_6l0G0c19atwI/view?usp=sharing Список тем, выносимых на экзамен] | ||
+ | |||
+ | [https://drive.google.com/file/d/1szKo2ZMRlrfTxksrbGl4XaG6mA4IDY1p/view?usp=sharing Пример варианта экзамена] | ||
+ | |||
+ | [https://drive.google.com/file/d/10oiNLC9nce7TDl0aJhZX9eD6BULS20_F/view?usp=sharing Список задач, рассмотренных на семинарах] | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий: | В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий: | ||
{| class="wikitable" | {| class="wikitable" | ||
− | ! Итоговая оценка !! | + | ! Итоговая оценка !! Необходимые условия |
|- | |- | ||
− | |align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3), экзамен сдан на оценку >= 6 | + | |align="center"|>=8 || Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6 |
|- | |- | ||
− | |align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3), экзамен сдан на оценку >= 4 | + | |align="center"|>=6 || Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4 |
|- | |- | ||
− | |align="center"|>=4 || Сданы все задания, кроме | + | |align="center"|>=4 || Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4 |
|- | |- | ||
|} | |} | ||
Строка 38: | Строка 51: | ||
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя. | Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. '''ВАЖНО!''' Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя. | ||
+ | |||
+ | В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме. | ||
== Лекции и семинары == | == Лекции и семинары == | ||
Строка 48: | Строка 63: | ||
|- | |- | ||
| align="center"|1 | | align="center"|1 | ||
− | | | + | | 20 января 2023 |
| Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект] | | Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект] | ||
[https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект] | [https://drive.google.com/file/d/1bNWF262guJHTphptCTYARAsUKRPC9QmS/view?usp=sharing Конспект] | ||
|- | |- | ||
| align="center"|2 | | align="center"|2 | ||
− | | | + | | 27 января 2023 |
| Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект] | | Классы функций для оптимизации. Точная и неточная одномерная оптимизация || [http://www.machinelearning.ru/wiki/images/4/4d/MOMO16_min1d.pdf Конспект] | ||
+ | [https://drive.google.com/file/d/1UUvimdQn2aMG0E0qE1R1OKdXbyYyUSOT/view?usp=sharing Презентация] | ||
|- | |- | ||
| align="center"|3 | | align="center"|3 | ||
− | | | + | | 03 февраля 2023 |
| Метод градиентного спуска. Разностное дифференцирование. || | | Метод градиентного спуска. Разностное дифференцирование. || | ||
|- | |- | ||
| align="center"|4 | | align="center"|4 | ||
− | | | + | | 10 февраля 2023 |
| Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов] | | Стандартные матричные разложения. Метод Ньютона. || [https://drive.google.com/file/d/1K9xt0seQ_Oi0UcyziwHibhnr7PorNfqe/view?usp=sharing Презентация по подготовке отчётов] | ||
|- | |- | ||
| align="center"|5 | | align="center"|5 | ||
− | | | + | | 17 февраля 2023 |
| Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация] | | Метод сопряжённых градиентов. || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация] | ||
+ | |- | ||
+ | | align="center"|-- | ||
+ | | 24 февраля 2023 | ||
+ | | ''Занятия не будет'' || | ||
|- | |- | ||
| align="center"|6 | | align="center"|6 | ||
− | | | + | | 03 марта 2023 |
| Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект] | | Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект] | ||
|- | |- | ||
| align="center"|7 | | align="center"|7 | ||
− | | | + | | 10 марта 2023 |
| Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект] | | Квазиньютоновские методы оптимизации. Выпуклые функции. || [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект] | ||
[http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект] | [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект] | ||
− | |||
− | |||
− | |||
− | |||
|- | |- | ||
| align="center"|8 | | align="center"|8 | ||
− | | | + | | 17 марта 2023 |
| Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект] | | Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект] | ||
|- | |- | ||
| align="center"|9 | | align="center"|9 | ||
− | | | + | | 24 марта 2023 |
− | | Задача линейного программирования. Симплекс-метод. | + | | Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. || |
|- | |- | ||
| align="center"|-- | | align="center"|-- | ||
− | | | + | | 31 марта 2023 |
| ''Занятия не будет'' || | | ''Занятия не будет'' || | ||
|- | |- | ||
| align="center"|10 | | align="center"|10 | ||
− | | | + | | 7 апреля 2023 |
− | | Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. | + | | Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br> |
+ | [https://drive.google.com/file/d/1ghnO3gMssx2IS9LaaOgYXbwwq6Pm8ZXY/view?usp=sharing Конспект] | ||
|- | |- | ||
| align="center"|11 | | align="center"|11 | ||
− | | | + | | 14 апреля 2023 |
− | | Прямо-двойственные методы для решения выпуклых задач условной оптимизации. || | + | | Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. || |
|- | |- | ||
| align="center"|12 | | align="center"|12 | ||
− | | | + | | 21 апреля 2023 |
| Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект] | | Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект] | ||
|- | |- | ||
| align="center"|13 | | align="center"|13 | ||
− | | | + | | 28 апреля 2023 |
| Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект] | | Проксимальные методы оптимизации. Сопряженные функции и нормы. || [http://www.machinelearning.ru/wiki/images/1/15/MOMO18_Seminar8.pdf Конспект] | ||
|- | |- | ||
| align="center"|-- | | align="center"|-- | ||
− | | | + | | 5 мая 2023 |
| ''Занятия не будет'' || | | ''Занятия не будет'' || | ||
|- | |- | ||
| align="center"|-- | | align="center"|-- | ||
− | | | + | | 12 мая 2023 |
| ''Занятия не будет'' || | | ''Занятия не будет'' || | ||
|- | |- | ||
| align="center"|14 | | align="center"|14 | ||
− | | | + | | 19 мая 2023 |
| Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. || | | Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. || | ||
|- | |- | ||
| align="center"|15 | | align="center"|15 | ||
− | | | + | | 26 мая 2023 |
− | | | + | | Семинар: автоматическое дифференцирование по графу вычислений. || |
|- | |- | ||
| align="center"|16 | | align="center"|16 | ||
− | | | + | | 2 июня 2023 |
− | | Дифференцирование через процесс оптимизации. || [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2] | + | | Лекция: обучение нейронных сетей || |
+ | |- | ||
+ | | align="center"|17 | ||
+ | | 9 июня 2023 | ||
+ | | Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. || [https://arxiv.org/abs/1703.00443 Статья 1]<br> [https://arxiv.org/abs/1502.03492 Статья 2] <br> [https://www.eurecom.fr/~gesbert/papers/short_matrix_diff.pdf Статья 3] | ||
+ | |- | ||
+ | | align="center"|18 | ||
+ | | 16 июня 2023 | ||
+ | | Консультация к экзамену || | ||
|- | |- | ||
|} | |} | ||
+ | |||
+ | == Рекомендуемая литература == | ||
+ | 1. J. Nocedal, S. Wright. [https://www.csie.ntu.edu.tw/~r97002/temp/num_optimization.pdf Numerical optimization]. Springer, 2006. | ||
+ | |||
+ | 2. S. Boyd, L. Vandenberghe. [https://web.stanford.edu/~boyd/cvxbook/ Convex optimization]. Cambridge University Press, 2004. |
Текущая версия на 03:45, 2 июля 2023
Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Преподаватели: Кропотов Дмитрий Александрович, Кодрян Максим, Никоров Кирилл.
Группа | Расписание | Инвайт для anytask |
---|---|---|
201 | пятница, лекция в 13:00, семинар в 14:40, ауд. см. в РУЗе | nuYXlzP |
202 | пятница, лекция в 13:00, семинар в 14:40, ауд. см. в РУЗе | Zus8FGK |
203 | пятница, лекция в 13:00, семинар в 14:40, ауд. см. в РУЗе | H85FCXe |
Другие студенты | пятница, лекция в 13:00, можно выбрать семинар любой из групп 201, 202, 203 | ml0iZHo |
Telegram для вопросов и объявлений по курсу: чат, канал
Видеозаписи занятий: ссылка
Таблица с оценками: ссылка
Экзамен
Экзамен по курсу состоится 28 июня, начало в 10-00. Экзамен пройдет в письменном виде в ауд. R404 (фамилии А-И) и R405 (фамилии К-Я). Время написания - 2 часа. Во время экзамена никакими материалами пользоваться нельзя. При себе необходимо иметь бумагу и ручку для написания экзамена.
Студенты, находящиеся на дистанционном обучении, сдают экзамен онлайн. Онлайн-экзамен также состоится 28 июня, начало в 10-00. Зум-ссылка. При сдаче экзамена онлайн камера и микрофон должны быть включены, в обзор камеры/камер должен попадать студент, письменный стол и клавиатура компьютера.
Список тем, выносимых на экзамен
Список задач, рассмотренных на семинарах
Система выставления оценок по курсу
В рамках курса предполагается четыре теоретических и четыре практических домашних заданий, а также экзамен в конце курса. Каждое задание и экзамен оцениваются исходя из 10-ти баллов. За задания можно получить дополнительные баллы за выполнение бонусных пунктов. Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий:
Итоговая оценка | Необходимые условия |
---|---|
>=8 | Сданы все задания, кроме одного (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 6 |
>=6 | Сданы все задания, кроме двух (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4 |
>=4 | Сданы все задания, кроме четырех (на оценку >= 3 без учета опоздания), экзамен сдан на оценку >= 4 |
Правила сдачи заданий
Теоретические и практические задания сдаются в систему anytask (инвайт см. выше). В случае наличия мягкого дедлайна задания могут быть присланы после срока сдачи, но с задержкой не более одной недели. При этом начисляется штраф из расчёта 0.5 балла в день. Все задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Теоретические задания сдаются в anytask в виде сканов или набранных в TeX pdf-файлов. ВАЖНО! Присылаемые сканы должны быть высокого качества, присылаться одним файлом, в котором все листы идут в правильном порядке. В случае плохого качества сканов или же сдачи в формате, отличном от pdf, проверяющий имеет право поставить за работу 0, не проверяя.
В случае возникновения проблем с anytask в процессе сдачи заданий перед дедлайном следует поступать так: прислать выполненное задание в телеграм своему семинаристу, а затем в anytask написать, что задание было прислано в телеграм вместе с указанием ника в телеграме.
Лекции и семинары
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 20 января 2023 | Введение в курс. Скорости сходимости итерационных процессов. Матрично-векторное дифференцирование. | Конспект |
2 | 27 января 2023 | Классы функций для оптимизации. Точная и неточная одномерная оптимизация | Конспект |
3 | 03 февраля 2023 | Метод градиентного спуска. Разностное дифференцирование. | |
4 | 10 февраля 2023 | Стандартные матричные разложения. Метод Ньютона. | Презентация по подготовке отчётов |
5 | 17 февраля 2023 | Метод сопряжённых градиентов. | Презентация |
-- | 24 февраля 2023 | Занятия не будет | |
6 | 03 марта 2023 | Безгессианный метод Ньютона. Выпуклые множества. | Конспект |
7 | 10 марта 2023 | Квазиньютоновские методы оптимизации. Выпуклые функции. | Конспект |
8 | 17 марта 2023 | Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. | Конспект |
9 | 24 марта 2023 | Задача линейного программирования. Симплекс-метод. Двойственные задачи оптимизации. | |
-- | 31 марта 2023 | Занятия не будет | |
10 | 7 апреля 2023 | Метод Ньютона и метод логарифмических барьеров для решения выпуклых задач условной оптимизации. Эквивалентные преобразования задач оптимизации. Стандартные классы выпуклых условных задач оптимизации. | Конспект |
11 | 14 апреля 2023 | Прямо-двойственные методы для решения выпуклых задач условной оптимизации. Применение метода лог. барьеров для двойственной задачи в SVM. | |
12 | 21 апреля 2023 | Негладкая выпуклая оптимизация. Субградиентный метод. Субдифференциальное исчисление. | Конспект |
13 | 28 апреля 2023 | Проксимальные методы оптимизации. Сопряженные функции и нормы. | Конспект |
-- | 5 мая 2023 | Занятия не будет | |
-- | 12 мая 2023 | Занятия не будет | |
14 | 19 мая 2023 | Стохастическая оптимизация: методы SGD, SAG, SVRG. Проекции и проксимальные операторы. | |
15 | 26 мая 2023 | Семинар: автоматическое дифференцирование по графу вычислений. | |
16 | 2 июня 2023 | Лекция: обучение нейронных сетей | |
17 | 9 июня 2023 | Дифференцирование через процесс оптимизации. Дифференцирование по комплексным переменным. | Статья 1 Статья 2 Статья 3 |
18 | 16 июня 2023 | Консультация к экзамену |
Рекомендуемая литература
1. J. Nocedal, S. Wright. Numerical optimization. Springer, 2006.
2. S. Boyd, L. Vandenberghe. Convex optimization. Cambridge University Press, 2004.