Основы тензорных вычислений (2024/25) — различия между версиями

Текущая версия на 18:09, 24 декабря 2024

О курсе

Курс читается для студентов 3-го и 4-го курса ПМИ.

Лектор: Рахуба Максим Владимирович

Семинарист: Моложавенко Александр

Учебные ассистенты: Алексей Слизков, Николай Юдин, Ирина Голобородько

Полезные ссылки

Ведомость

Материалы курса

Записи занятий

Ссылка на zoom

Телеграм-канал курса

Лекции и семинары

• Лекция 1. Введение. [Конспект, Zoom-запись] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
• Семинар 1. [Конспект, Zoom-запись 22-23 год] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение). P.S. Запись семинара отсутствует, но занятие было идентично соответствующему за 22-23 учебный год.
• Лекция 2. Каноническое разложение тензоров (CP). [Конспект, Zoom-запись] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
• Семинар 2. [Конспект, Zoom-запись] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.
• Лекция 3. Алгоритмы вычисления CP-разложения. [Конспект, Zoom-запись] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
• Семинар 3. [Конспект, Zoom-запись] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.
• Лекция 4. Обобщение SVD на многомерный случай. [Конспект, Запись] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
• Семинар 4. [Конспект, Jupyter-журнал, Запись] Эффективное вычисление тензорных операций. T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств.
• Лекция 5. Обобщение SVD на многомерный случай — 2. [Конспект Запись] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
• Семинар 5. [Конспект, Запись] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).
• Лекция 6. Приложения тензорных вычислений. [Конспект, Zoom-запись] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
• Семинар 6. [Конспект, Jupyter-журнал, Zoom-запись] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора. Разбор практического задания.
• Лекция 7. Разложение тензорного поезда (TT). [Конспект, Zoom-запись] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер.
• Семинар 7. [Конспект, Jupyter-журнал, Zoom-запись] Разреженные тензоры. Numba. Демонстрация сжатия данных тензорными структурами.
• Лекция 8. TT-разложение (продолжение). [Конспект, Zoom-запись] Ортогонализация ядер (продолжение). Алгоритм TT-SVD. Эффективная рекомпрессия TT-разложения. Арифметика в TT-формате.
• Семинар 8. [Конспект, Zoom-запись] TT-SVD в виде псевдокода. Почему ошибка в TT-SVD не накапливается экспоненциально?
• Лекция 9. Линейные операторы в TT-формате. [Конспект, Запись] Введение, формулировка, где встречаются. ALS для TT. DMRG. Крестовая аппроксимация матриц.
• Семинар 9. [Конспект, Zoom-запись] TT-SVD с округлением. TT-матрицы (продолжение).
• Лекция 10. Риманова оптимизация. [Конспект, Zoom-запись] Методы римановой оптимизации.
• Семинар 10. [Конспект, Zoom-запись] Примеры приведения операторов к TT-формату. Переход от канонического разложения к TT-разложению. ALS для TT (продолжение). Оптимизация на многообразиях (начало).
• Лекция 11. Крестовая аппроксимация тензоров. Иерархический Таккер. [Конспект, Слайды, Zoom-запись] Крестовая аппроксимация матриц. Крестовая аппроксимация тензоров, TT-cross. Интегрирование многомерных функций. Разложение иерархического Таккера (HT): определение, ранги, ортогонализация, сложение. Замкнутость множеств тензоров ограниченного ранга.
• Семинар 11. [Конспект, Zoom-запись] . Касательное пространство к S^{n-1}. Ретракция на сферу. Многообразие матриц фиксированного ранга, касательное пространство к нему.
• Лекция 12. Обзор тензорных сетей. [Конспект, Zoom-запись] Замкнутость тензорных сетей: теорема Ландсберга. Популярные тензорные сети: тензорное кольцо (TR), PEPS, MERA. Ранги произвольных развёрток. Канонические формы тензорных сетей. Тензоризация в ML. Приближение функций по сетке.
• Семинар 12. [Конспект, Jupyter-журнал, Zoom-запись]. Является ли TT частным случаем HT? Степени свободы в HT и TT. Пример HT-разложения. Библиотека ttpy.
• Лекция 13. Обзор тензорных сетей. [Конспект, Zoom-запись]. Тензоризация (продолжение). Билинейные алгоритмы и каноническое разложение.
• Семинар 13. [Конспект, Zoom-запись]. Пример HT-разложения. Теорема Ландсберга: пример незамкнутого множества. TR-разложение (продолжение). MERA (продолжение), PEPS (продолжение)
• Лекция 14. Вычисление свёрток. [Конспект, Zoom-запись]. Билинейные алгоритмы и каноническое разложение. Одномерная свёртка: виды свёрток, алгоритм Тоома-Кука, малоранговый случай.Алгоритм Винограда. Вычисление многомерных свёрток. Свёрточный слой, его сингулярные числа. Тензорные разложения ядра свёртки.
• Семинар 14. [Конспект, Jupyter-журнал, Zoom-запись]. Тензоризация многочленов. Библиотека TensorNetwork. Билинейные алгоритмы: алгоритм Карацубы.

Домашние задания

Теоретические ДЗ выдаются каждые 2 или 3 недели.

Также планируется 3-4 практических ДЗ.

• Теоретическое ДЗ-1. [PDF, TEX] Дедлайн: 04.10.24 в 23:59.
• Практическое ДЗ-1. [Материалы] Дедлайн: 21.10.24 в 23:59.
• Теоретическое ДЗ-2. [PDF, TEX] Дедлайн: 08.11.24 в 23:59.
• Практическое ДЗ-2. [Материалы] Дедлайн: 19.11.24 в 23:59.
• Теоретическое ДЗ-3. [PDF] Дедлайн: 05.12.24 в 23:59.
• Практическое ДЗ-3. [Материалы] Дедлайн: 17.12.24 в 23:59.
• Теоретическое ДЗ-4. [PDF, TEX] Дедлайн: 19.12.24 в 23:59.

Итоговая оценка за курс

Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э))

ДЗ_Теор –– средняя оценка за теоретические домашние задания

ДЗ_Практ –– средняя оценка за практические домашние задания

Б –– средняя оценка за бонусные задачи в ДЗ

ПР — средняя оценка за самостоятельные работы на семинарах

К –– оценка за устный коллоквиум (проводится в начале 2-го модуля)

Э –– письменный экзамен.

Округление арифметическое.