Основы тензорных вычислений (2023/24) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
м (домашка)
(добавила ссылки на записи лекций и семинаров)
 
Строка 42: Строка 42:
 
* '''Лекция 9. Линейные операторы в TT-формате.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture9.pdf&name=lecture9.pdf&nosw=1 Конспект] [https://disk.yandex.ru/i/wB3wA-bGtvn3Zg Запись]] Введение, формулировка, где встречаются. ALS для TT. DMRG. Крестовая аппроксимация матриц.
 
* '''Лекция 9. Линейные операторы в TT-формате.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture9.pdf&name=lecture9.pdf&nosw=1 Конспект] [https://disk.yandex.ru/i/wB3wA-bGtvn3Zg Запись]] Введение, формулировка, где встречаются. ALS для TT. DMRG. Крестовая аппроксимация матриц.
 
* '''Семинар 9.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2Fseminar9.pdf&name=seminar9.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-11-14T13-06-04Z.mp4 Zoom-запись]] TT-матрицы (продолжение). Примеры приведения операторов к TT-формату. Переход от канонического разложения к TT-разложению. ALS для TT (продолжение).
 
* '''Семинар 9.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2Fseminar9.pdf&name=seminar9.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-11-14T13-06-04Z.mp4 Zoom-запись]] TT-матрицы (продолжение). Примеры приведения операторов к TT-формату. Переход от канонического разложения к TT-разложению. ALS для TT (продолжение).
 +
* '''Лекция 10. Крестовая аппроксимация тензоров. Риманова оптимизация.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture10.pdf&name=lecture10.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/21_11_Рахуба.MP4 Zoom-запись]] Крестовая аппроксимация матриц (продолжение). Крестовая аппроксимация тензоров, TT-cross. Интегрирование многомерных функций. Методы римановой оптимизации.
 +
* '''Семинар 10.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2Fseminar10.pdf&name=seminar10.pdf Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/21_11_Пешехонов.MP4 Zoom-запись]] Оптимизация на многообразиях (продолжение). Касательное пространство к S^{n-1}. Минимальное собственное значение симметричной вещественной матрицы. Многообразие матриц фиксированного ранга, касательное пространство к нему. Многообразие тензоров фиксированного TT-ранга.
 +
* '''Лекция 11. Риманова оптимизация. Иерархический Таккер.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture11.pdf&name=lecture11.pdf Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-11-28T11-40-42Z.mp4 Zoom-запись]] Риманова оптимизация (продолжение). Разложение иерархического Таккера (HT): определение, ранги, ортогонализация, сложение. Замкнутость множеств тензоров ограниченного ранга.
 +
* '''Семинар 11.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2FSeminar%2011%2Fseminar11.pdf&name=seminar11.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/NHLEj3iIL7qsUg/seminars/Seminar%2011/Seminar_11.ipynb Ноутбук] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-11-28T13-11-24Z.mp4 Zoom-запись]] Является ли TT частным случаем HT? Степени свободы в HT и TT. Пример HT-разложения. Библиотека ttpy.
 +
* '''Лекция 12. Обзор тензорных сетей.''' [[https://docviewer.yandex.ru/?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture12.pdf&name=lecture12.pdf Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/5_12_Рахуба.MP4 Zoom-запись]] Замкнутость тензорных сетей: теорема Ландсберга. Популярные тензорные сети: тензорное кольцо (TR), PEPS, MERA. Ранги произвольных развёрток. Канонические формы тензорных сетей. Тензоризация в ML. Приближение функций по сетке.
 +
* '''Семинар 12.''' [[https://docviewer.yandex.ru/?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2Fseminar12.pdf&name=seminar12.pdf Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/5_12_Пешехонов.MP4 Zoom-запись]] Теорема Ландсберга: пример незамкнутого множества. TR-разложение (продолжение). MERA (продолжение). Введение в пракДЗ-3. PEPS (продолжение).
  
 
== Домашние задания ==
 
== Домашние задания ==

Текущая версия на 17:34, 18 декабря 2023

О курсе

Курс читается для студентов 3-го и 4-го курса ПМИ.

Лектор: Рахуба Максим Владимирович

Семинарист: Пешехонов Иван Дмитриевич

Учебные ассистенты: Ира Голобородько, Алексей Слизков, Александра Сендерович

Полезные ссылки

Ведомость

Материалы курса

Записи занятий

Ссылка на zoom

Телеграм-канал курса

Лекции и семинары

  • Лекция 1. Введение. [Конспект Zoom-запись] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
  • Семинар 1. [Конспект Zoom-запись] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение).
  • Лекция 2. Каноническое разложение тензоров (CP). [Конспект Zoom-запись] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
  • Семинар 2. [Конспект Zoom-запись] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.
  • Лекция 3. Алгоритмы вычисления CP-разложения. [Конспект Zoom-запись] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
  • Семинар 3. [Конспект Zoom-запись] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.
  • Лекция 4. Обобщение SVD на многомерный случай. [Конспект Запись] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
  • Семинар 4. [Конспект Запись] T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств. Связь между тензорами и ЭЭГ. Эффективное вычисление тензорных операций.
  • Лекция 5. Обобщение SVD на многомерный случай — 2. [Конспект Запись] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
  • Семинар 5. [Конспект Запись] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).
  • Лекция 6. Приложения тензорных вычислений. [Конспект Zoom-запись] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
  • Семинар 6. [Конспект Zoom-запись] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора.
  • Лекция 7. Разложение тензорного поезда (TT). [Конспект Zoom-запись] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер.
  • Семинар 7. [КонспектZoom-запись] Разреженные тензоры. Numba. TT-разложение: пример вычисления.
  • Лекция 8. TT-разложение (продолжение). [Конспект Zoom-запись] Ортогонализация ядер (продолжение). Алгоритм TT-SVD. Эффективная рекомпрессия TT-разложения. Арифметика в TT-формате.
  • Семинар 8. [Конспект Zoom-запись] TT-SVD в виде псевдокода. Почему ошибка в TT-SVD не накапливается экспоненциально? TT-SVD с округлением.
  • Лекция 9. Линейные операторы в TT-формате. [Конспект Запись] Введение, формулировка, где встречаются. ALS для TT. DMRG. Крестовая аппроксимация матриц.
  • Семинар 9. [Конспект Zoom-запись] TT-матрицы (продолжение). Примеры приведения операторов к TT-формату. Переход от канонического разложения к TT-разложению. ALS для TT (продолжение).
  • Лекция 10. Крестовая аппроксимация тензоров. Риманова оптимизация. [Конспект Zoom-запись] Крестовая аппроксимация матриц (продолжение). Крестовая аппроксимация тензоров, TT-cross. Интегрирование многомерных функций. Методы римановой оптимизации.
  • Семинар 10. [Конспект Zoom-запись] Оптимизация на многообразиях (продолжение). Касательное пространство к S^{n-1}. Минимальное собственное значение симметричной вещественной матрицы. Многообразие матриц фиксированного ранга, касательное пространство к нему. Многообразие тензоров фиксированного TT-ранга.
  • Лекция 11. Риманова оптимизация. Иерархический Таккер. [Конспект Zoom-запись] Риманова оптимизация (продолжение). Разложение иерархического Таккера (HT): определение, ранги, ортогонализация, сложение. Замкнутость множеств тензоров ограниченного ранга.
  • Семинар 11. [Конспект Ноутбук Zoom-запись] Является ли TT частным случаем HT? Степени свободы в HT и TT. Пример HT-разложения. Библиотека ttpy.
  • Лекция 12. Обзор тензорных сетей. [Конспект Zoom-запись] Замкнутость тензорных сетей: теорема Ландсберга. Популярные тензорные сети: тензорное кольцо (TR), PEPS, MERA. Ранги произвольных развёрток. Канонические формы тензорных сетей. Тензоризация в ML. Приближение функций по сетке.
  • Семинар 12. [Конспект Zoom-запись] Теорема Ландсберга: пример незамкнутого множества. TR-разложение (продолжение). MERA (продолжение). Введение в пракДЗ-3. PEPS (продолжение).

Домашние задания

Теоретические ДЗ выдаются каждые 2 или 3 недели.

Также планируется 3-4 практических ДЗ.

  • Теоретическое ДЗ-1. [PDF TEX] Дедлайн: 05.10.23 в 23:59.
  • Практическое ДЗ-1. [Папка с файлами] Дедлайн: 24.10.23 в 23:59.
  • Теоретическое ДЗ-2. [PDF] Дедлайн: 06.11.23 в 23:59.
  • Практическое ДЗ-2. [Ноутбук] Дедлайн: 15.11.23 в 23:59.
  • Теоретическое ДЗ-3. [PDF] Дедлайн: 01.12.23 в 23:59.
  • Практическое ДЗ-3. [Папка с файлами] Дедлайн: 11.12.23 в 23:59.
  • Теоретическое ДЗ-4. [PDF] Дедлайн: 19.12.22 в 23:59.

Итоговая оценка за курс

Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э))

ДЗ_Теор –– средняя оценка за теоретические домашние задания

ДЗ_Практ –– средняя оценка за практические домашние задания

Б –– средняя оценка за бонусные задачи в ДЗ

ПР — средняя оценка за самостоятельные работы на семинарах

К –– оценка за устный коллоквиум (проводится в начале 2-го модуля)

Э –– письменный экзамен.

Округление арифметическое.