Основы тензорных вычислений (2024/25) — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(Семинар 6)
(Лекция 6)
Строка 22: Строка 22:
  
 
== Лекции и семинары ==
 
== Лекции и семинары ==
−
* '''Лекция 1. Введение.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flecture%20notes%2Flecture1.pdf&name=lecture1.pdf Конспект] [https://disk.yandex.ru/d/6uDAO7MIHsJnyQ/lecture%20videos/RPReplay_Final1725967556.MP4 Zoom-запись]] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
+
* '''Лекция 1. Введение.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flecture%20notes%2Flecture1.pdf&name=lecture1.pdf Конспект], [https://disk.yandex.ru/d/6uDAO7MIHsJnyQ/lecture%20videos/RPReplay_Final1725967556.MP4 Zoom-запись]] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
−
* '''Семинар 1.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminar%20notes%2Ftenscomp24_sem1.pdf&name=tenscomp24_sem1.pdf&nosw=1 Конспект] [https://disk.yandex.ru/i/LZND-fVJgMVhsA Zoom-запись 22-23 год]] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение). P.S. Запись семинара отсутствует, но занятие было идентично соответствующему за 22-23 учебный год.
+
* '''Семинар 1.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminar%20notes%2Ftenscomp24_sem1.pdf&name=tenscomp24_sem1.pdf&nosw=1 Конспект], [https://disk.yandex.ru/i/LZND-fVJgMVhsA Zoom-запись 22-23 год]] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение). P.S. Запись семинара отсутствует, но занятие было идентично соответствующему за 22-23 учебный год.
−
* '''Лекция 2. Каноническое разложение тензоров (CP).''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flecture%20notes%2Flecture2.pdf&name=lecture2.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/6uDAO7MIHsJnyQ/lecture%20videos/RPReplay_Final1726572146.MP4 Zoom-запись]] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
+
* '''Лекция 2. Каноническое разложение тензоров (CP).''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flecture%20notes%2Flecture2.pdf&name=lecture2.pdf&nosw=1 Конспект], [https://disk.yandex.ru/d/6uDAO7MIHsJnyQ/lecture%20videos/RPReplay_Final1726572146.MP4 Zoom-запись]] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
−
* '''Семинар 2.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminar%20notes%2Ftenscomp24_sem2.pdf&name=tenscomp24_sem2.pdf&nosw=1 Конспект] [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_(2024/25) Zoom-запись]] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.
+
* '''Семинар 2.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminar%20notes%2Ftenscomp24_sem2.pdf&name=tenscomp24_sem2.pdf&nosw=1 Конспект], [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_(2024/25) Zoom-запись]] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.
−
* '''Лекция 3. Алгоритмы вычисления CP-разложения.''' [[https://disk.yandex.ru/i/KurgURgPuhNq3w Конспект] [https://disk.yandex.ru/i/-OL1POsxub-_nA Zoom-запись]] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
+
* '''Лекция 3. Алгоритмы вычисления CP-разложения.''' [[https://disk.yandex.ru/i/KurgURgPuhNq3w Конспект], [https://disk.yandex.ru/i/-OL1POsxub-_nA Zoom-запись]] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
−
* '''Семинар 3.''' [[https://disk.yandex.ru/i/avQOfvfFjOu85Q Конспект] [https://disk.yandex.ru/i/BBkQGrw9PdKDnQ Zoom-запись]] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.
+
* '''Семинар 3.''' [[https://disk.yandex.ru/i/avQOfvfFjOu85Q Конспект], [https://disk.yandex.ru/i/BBkQGrw9PdKDnQ Zoom-запись]] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.
 
* '''Лекция 4. Обобщение SVD на многомерный случай.''' [[https://disk.yandex.ru/i/2k96JP1NZjBILA Конспект], [https://disk.yandex.ru/i/EalgAgy_oTWuoQ Запись]] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
 
* '''Лекция 4. Обобщение SVD на многомерный случай.''' [[https://disk.yandex.ru/i/2k96JP1NZjBILA Конспект], [https://disk.yandex.ru/i/EalgAgy_oTWuoQ Запись]] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
 
* '''Семинар 4.''' [[https://disk.yandex.ru/i/HS_egipt6mWjlA Конспект], [https://disk.yandex.ru/d/thPqahvLWZDJ_A Jupyter-журнал], [https://disk.yandex.ru/i/ubbxh3cIYPGd8Q Запись]] Эффективное вычисление тензорных операций. T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств.
 
* '''Семинар 4.''' [[https://disk.yandex.ru/i/HS_egipt6mWjlA Конспект], [https://disk.yandex.ru/d/thPqahvLWZDJ_A Jupyter-журнал], [https://disk.yandex.ru/i/ubbxh3cIYPGd8Q Запись]] Эффективное вычисление тензорных операций. T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств.
 
* '''Лекция 5. Обобщение SVD на многомерный случай — 2.''' [[https://disk.yandex.ru/i/B_UkwxISmsg-vw Конспект] [https://disk.yandex.ru/i/IXRPZVe7j4cvAg Запись]] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
 
* '''Лекция 5. Обобщение SVD на многомерный случай — 2.''' [[https://disk.yandex.ru/i/B_UkwxISmsg-vw Конспект] [https://disk.yandex.ru/i/IXRPZVe7j4cvAg Запись]] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
−
* '''Семинар 5.''' [[https://disk.yandex.ru/i/XjGdOip63lZC-g Конспект] [https://disk.yandex.ru/i/z5f4Gh6GjGjeXA Запись]] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).
+
* '''Семинар 5.''' [[https://disk.yandex.ru/i/XjGdOip63lZC-g Конспект], [https://disk.yandex.ru/i/z5f4Gh6GjGjeXA Запись]] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).
−
* '''Лекция 6. Приложения тензорных вычислений.''' [[Конспект] [Zoom-запись]] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
+
* '''Лекция 6. Приложения тензорных вычислений.''' [[https://disk.yandex.ru/i/sNFhp9uvEKlhjg Конспект], [https://disk.yandex.ru/i/x_JgcMqCjhVCmg Zoom-запись]] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
−
* '''Семинар 6.''' [[https://disk.yandex.ru/i/_RP6sDU8BMNz6Q Конспект] [https://disk.yandex.ru/i/Ck8B0Hy-Zk7VTw Zoom-запись]] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора. Разбор практического задания.
+
* '''Семинар 6.''' [[https://disk.yandex.ru/i/_RP6sDU8BMNz6Q Конспект], [https://disk.yandex.ru/i/Ck8B0Hy-Zk7VTw Zoom-запись]] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора. Разбор практического задания.
  
 
== Домашние задания ==
 
== Домашние задания ==

Версия 19:01, 18 октября 2024

О курсе

Курс читается для студентов 3-го и 4-го курса ПМИ.

Лектор: Рахуба Максим Владимирович

Семинарист: Моложавенко Александр

Учебные ассистенты: Алексей Слизков, Николай Юдин, Ирина Голобородько

Полезные ссылки

Ведомость

Материалы курса

Записи занятий

Ссылка на zoom

Телеграм-канал курса

Лекции и семинары

  • Лекция 1. Введение. [Конспект, Zoom-запись] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
  • Семинар 1. [Конспект, Zoom-запись 22-23 год] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение). P.S. Запись семинара отсутствует, но занятие было идентично соответствующему за 22-23 учебный год.
  • Лекция 2. Каноническое разложение тензоров (CP). [Конспект, Zoom-запись] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
  • Семинар 2. [Конспект, Zoom-запись] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.
  • Лекция 3. Алгоритмы вычисления CP-разложения. [Конспект, Zoom-запись] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
  • Семинар 3. [Конспект, Zoom-запись] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.
  • Лекция 4. Обобщение SVD на многомерный случай. [Конспект, Запись] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
  • Семинар 4. [Конспект, Jupyter-журнал, Запись] Эффективное вычисление тензорных операций. T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств.
  • Лекция 5. Обобщение SVD на многомерный случай — 2. [Конспект Запись] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
  • Семинар 5. [Конспект, Запись] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).
  • Лекция 6. Приложения тензорных вычислений. [Конспект, Zoom-запись] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
  • Семинар 6. [Конспект, Zoom-запись] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора. Разбор практического задания.

Домашние задания

Теоретические ДЗ выдаются каждые 2 или 3 недели.

Также планируется 3-4 практических ДЗ.

  • Теоретическое ДЗ-1. [PDF TEX] Дедлайн: 04.10.24 в 23:59.
  • Практическое ДЗ-1. [Материалы] Дедлайн: 21.10.24 в 23:59.

Итоговая оценка за курс

Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э))

ДЗ_Теор –– средняя оценка за теоретические домашние задания

ДЗ_Практ –– средняя оценка за практические домашние задания

Б –– средняя оценка за бонусные задачи в ДЗ

ПР — средняя оценка за самостоятельные работы на семинарах

К –– оценка за устный коллоквиум (проводится в начале 2-го модуля)

Э –– письменный экзамен.

Округление арифметическое.

Источник — «http://wiki.cs.hse.ru/index.php?title=Основы_тензорных_вычислений_(2024/25)&oldid=87379»