Основы тензорных вычислений (2025/26)

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск

О курсе

Курс читается для студентов 3-го и 4-го курса ПМИ.

Лектор: Рахуба Максим Владимирович

Семинарист: Моложавенко Александр

Учебные ассистенты: Игорь Воротников, Николай Юдин, Артем Потарусов

Полезные ссылки

Ведомость

Материалы курса

Телеграм-канал курса

Лекции и семинары

  • Лекция 1. Введение. [Запись], [Конспект] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
  • Семинар 1. [Запись], [Конспект] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение).
  • Лекция 2. Каноническое разложение тензоров (CP). [Запись], [Конспект] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
  • Семинар 2. [Запись], [Конспект] Каноническое разложение: определения, виды записей, канонический ранг, тензорная диаграмма, пример вычисления, комплексный вариант. Приближение тензора бОльшего канонического ранга тензорами меньшего канонического ранга.
  • Лекция 3. Алгоритмы вычисления CP-разложения. [Запись], [Конспект] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
  • Семинар 3. [Запись], [Конспект] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона (начало).
  • Лекция 4. Обобщение SVD на многомерный случай. [Запись], [Конспект] Метод Гаусса-Ньютона (продолжение). Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
  • Семинар 4. [Запись], [Конспект] метод Гаусса-Ньютона.
  • Лекция 5. Обобщение SVD на многомерный случай — 2. [Запись, [Конспект] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
  • Семинар 5. [Запись], [Журнал 1], [Журнал 2], [Конспект] Векторизации, einsum, T-HOSVD (начало). Переход к новому базису в тензорном произведении пространств. (Не)Единственность разложения Таккера.
  • Лекция 6. Приложения тензорных вычислений.[Запись], [Конспект] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
  • Семинар 6. [Запись], [Конспект] Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение). ST-HOSVD. HOOI vs ALS. Сложность алгоритмов.
  • Лекция 7. Разложение тензорного поезда (TT). [Запись], [Конспект] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер.
  • Семинар 7. [Запись], [Журнал 1], [Журнал2], [Конспект] Поэлементное умножение тензоров. Поэлементное обращение тензора. Разреженные тензоры. Демонстрация сжатия данных тензорными структурами.
  • Лекция 8. TT-разложение (продолжение). [Запись], [Конспект] Ортогонализация ядер (продолжение). Алгоритм TT-SVD. Эффективная рекомпрессия TT-разложения. Арифметика в TT-формате.
  • Семинар 8. [Запись], [Конспект] TT-SVD в виде псевдокода. Почему ошибка в TT-SVD не накапливается экспоненциально?
  • Лекция 9. Линейные операторы в TT-формате. [Запись], [Конспект] Введение, формулировка, где встречаются. ALS для TT.
  • Семинар 9.[Запись], [Конспект] TT-SVD с округлением. TT-матрицы (продолжение).
  • Лекция 10. Риманова оптимизация.[Запись], [Конспект] Методы римановой оптимизации.
  • Семинар 10.[Запись], [Конспект] Примеры приведения операторов к TT-формату. Переход от канонического разложения к TT-разложению. ALS для TT (продолжение).
  • Лекция 11. Тензоризация. [Конспект], [Запись] ALS для ТТ, Алгоритм DMRG. Тензоризация. Интегрирование многомерных функций.
  • Семинар 11. [Запись], [Конспект] Понятие ретракции. Касательное пространство к S^{n-1}. Ретракция на сферу. Многообразие матриц фиксированного ранга.
  • Лекция 12. Обзор тензорных сетей. TBD, TBD Замкнутость тензорных сетей: теорема Ландсберга. Популярные тензорные сети: тензорное кольцо (TR), PEPS, MERA. Ранги произвольных развёрток. Канонические формы тензорных сетей. Тензоризация в ML. Приближение функций по сетке.
  • Семинар 12. TBD, TBD Является ли TT частным случаем HT? Степени свободы в HT и TT. Пример HT-разложения. Библиотека ttpy.
  • Лекция 13. Обзор тензорных сетей. TBD, TBD . Билинейные алгоритмы и каноническое разложение.
  • Семинар 13. TBD, TBD Пример HT-разложения. Теорема Ландсберга: пример незамкнутого множества. TR-разложение (продолжение). MERA (продолжение), PEPS (продолжение)
  • Лекция 14. Вычисление свёрток.TBD, TBD Билинейные алгоритмы и каноническое разложение. Одномерная свёртка: виды свёрток, алгоритм Тоома-Кука, малоранговый случай.Алгоритм Винограда. Вычисление многомерных свёрток. Свёрточный слой, его сингулярные числа. Тензорные разложения ядра свёртки.
  • Семинар 14.TBD, TBD. Тензоризация многочленов. Библиотека TensorNetwork. Билинейные алгоритмы: алгоритм Карацубы.

Домашние задания

Теоретические ДЗ выдаются каждые 2 или 3 недели.

Также планируется 3-4 практических ДЗ.

  • Теоретическое ДЗ-1. [PDF], [LaTeX] Дедлайн: 13.10.2025 23:59 МСК.
  • Практическое ДЗ-1. [Материалы] Дедлайн: 24.10.2025 23:59 МСК.
  • Теоретическое ДЗ-2. [PDF], [LaTeX] Дедлайн: 11.11.2025 23:59 МСК.
  • Практическое ДЗ-2. [Материалы] Дедлайн: 21.11.2025 23:59 МСК.
  • Практическое ДЗ-3. [Материалы] Дедлайн: 08.12.2025 23:59 МСК.
  • Теоретическое ДЗ-3. [PDF], [LaTeX] Дедлайн: 19.12.2025 23:59 МСК.

Итоговая оценка за курс

Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э))

ДЗ_Теор –– средняя оценка за теоретические домашние задания

ДЗ_Практ –– средняя оценка за практические домашние задания

Б –– средняя оценка за бонусные задачи в ДЗ

ПР — средняя оценка за самостоятельные работы на семинарах

К –– оценка за устный коллоквиум (проводится в начале 2-го модуля)

Э –– письменный экзамен.

Округление арифметическое.

Источник — «http://wiki.cs.hse.ru/index.php?title=Основы_тензорных_вычислений_(2025/26)&oldid=94082»