Основы тензорных вычислений (2023/24) — различия между версиями
Материал из Wiki - Факультет компьютерных наук
(добавлена 7 лекция и пдз2) |
м (добавила новое дз и лекцию) |
||
Строка 37: | Строка 37: | ||
* '''Семинар 6.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2Fseminar6.pdf&name=seminar6.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-10-17T13-08-45Z.mp4 Zoom-запись]] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора. | * '''Семинар 6.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2Fseminar6.pdf&name=seminar6.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-10-17T13-08-45Z.mp4 Zoom-запись]] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора. | ||
* '''Лекция 7. Разложение тензорного поезда (TT).''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture7.pdf&name=lecture7.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-10-24T11-39-57Z.mp4 Zoom-запись]] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер. | * '''Лекция 7. Разложение тензорного поезда (TT).''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture7.pdf&name=lecture7.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-10-24T11-39-57Z.mp4 Zoom-запись]] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер. | ||
− | * '''Семинар 7.''' [[https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-10-24T13-16-37Z.mp4 Zoom-запись]] Разреженные тензоры. Numba. TT-разложение: пример вычисления. | + | * '''Семинар 7.''' [[https://disk.yandex.ru/d/NHLEj3iIL7qsUg/seminars/Seminar%207 Конспект][https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-10-24T13-16-37Z.mp4 Zoom-запись]] Разреженные тензоры. Numba. TT-разложение: пример вычисления. |
+ | * '''Лекция 8. TT-разложение (продолжение).''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flectures%2Flecture8.pdf&name=lecture8.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-11-07T11-37-09Z.mp4 Zoom-запись]] Ортогонализация ядер (продолжение). Алгоритм TT-SVD. Эффективная рекомпрессия TT-разложения. Арифметика в TT-формате. | ||
+ | * '''Семинар 8.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2FH6WPvV2D4DTxeO2KJqwqoNOwFmlTI7vMlna7Yt5bhmeDXxD6wwafAM6c8sgF0idnq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminars%2Fseminar8.pdf&name=seminar8.pdf&nosw=1 Конспект] [https://disk.yandex.ru/d/zl7DgU7FmuJKLg/Основы%20тензорных%20вычислений/Лекция%2BСеминар%202023-11-07T13-09-36Z.mp4 Zoom-запись]] TT-SVD в виде псевдокода. Почему ошибка в TT-SVD не накапливается экспоненциально? TT-SVD с округлением. | ||
== Домашние задания == | == Домашние задания == | ||
Строка 49: | Строка 51: | ||
* '''Теоретическое ДЗ-2.''' [[https://disk.yandex.ru/i/tt3VfxXtf2kSsA PDF]] Дедлайн: 06.11.23 в 23:59. | * '''Теоретическое ДЗ-2.''' [[https://disk.yandex.ru/i/tt3VfxXtf2kSsA PDF]] Дедлайн: 06.11.23 в 23:59. | ||
* '''Практическое ДЗ-2.''' [[https://disk.yandex.ru/d/MxmuUFmqE7sKEw Ноутбук]] Дедлайн: 15.11.22 в 23:59. | * '''Практическое ДЗ-2.''' [[https://disk.yandex.ru/d/MxmuUFmqE7sKEw Ноутбук]] Дедлайн: 15.11.22 в 23:59. | ||
+ | * '''Теоретическое ДЗ-3.''' [[https://disk.yandex.ru/i/8olUaGyU69JBvQ PDF]] Дедлайн: 01.12.23 в 23:59. | ||
== Итоговая оценка за курс == | == Итоговая оценка за курс == |
Версия 22:16, 18 ноября 2023
Содержание
О курсе
Курс читается для студентов 3-го и 4-го курса ПМИ.
Лектор: Рахуба Максим Владимирович
Семинарист: Пешехонов Иван Дмитриевич
Учебные ассистенты: Ира Голобородько, Алексей Слизков, Александра Сендерович
Полезные ссылки
Лекции и семинары
- Лекция 1. Введение. [Конспект Zoom-запись] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
- Семинар 1. [Конспект Zoom-запись] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение).
- Лекция 2. Каноническое разложение тензоров (CP). [Конспект Zoom-запись] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
- Семинар 2. [Конспект Zoom-запись] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.
- Лекция 3. Алгоритмы вычисления CP-разложения. [Конспект Zoom-запись] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
- Семинар 3. [Конспект Zoom-запись] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.
- Лекция 4. Обобщение SVD на многомерный случай. [Конспект Запись] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
- Семинар 4. [Конспект Запись] T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств. Связь между тензорами и ЭЭГ. Эффективное вычисление тензорных операций.
- Лекция 5. Обобщение SVD на многомерный случай — 2. [Конспект Запись] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
- Семинар 5. [Конспект Запись] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).
- Лекция 6. Приложения тензорных вычислений. [Конспект Zoom-запись] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
- Семинар 6. [Конспект Zoom-запись] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора.
- Лекция 7. Разложение тензорного поезда (TT). [Конспект Zoom-запись] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер.
- Семинар 7. [КонспектZoom-запись] Разреженные тензоры. Numba. TT-разложение: пример вычисления.
- Лекция 8. TT-разложение (продолжение). [Конспект Zoom-запись] Ортогонализация ядер (продолжение). Алгоритм TT-SVD. Эффективная рекомпрессия TT-разложения. Арифметика в TT-формате.
- Семинар 8. [Конспект Zoom-запись] TT-SVD в виде псевдокода. Почему ошибка в TT-SVD не накапливается экспоненциально? TT-SVD с округлением.
Домашние задания
Теоретические ДЗ выдаются каждые 2 или 3 недели.
Также планируется 3-4 практических ДЗ.
- Теоретическое ДЗ-1. [PDF TEX] Дедлайн: 05.10.23 в 23:59.
- Практическое ДЗ-1. [Папка с файлами] Дедлайн: 24.10.22 в 23:59.
- Теоретическое ДЗ-2. [PDF] Дедлайн: 06.11.23 в 23:59.
- Практическое ДЗ-2. [Ноутбук] Дедлайн: 15.11.22 в 23:59.
- Теоретическое ДЗ-3. [PDF] Дедлайн: 01.12.23 в 23:59.
Итоговая оценка за курс
Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э))
ДЗ_Теор –– средняя оценка за теоретические домашние задания
ДЗ_Практ –– средняя оценка за практические домашние задания
Б –– средняя оценка за бонусные задачи в ДЗ
ПР — средняя оценка за самостоятельные работы на семинарах
К –– оценка за устный коллоквиум (проводится в начале 2-го модуля)
Э –– письменный экзамен.
Округление арифметическое.