张量分解(一):基础知识

前段时间在组里分享了张量分解相关的知识,现在想把它整理成一个系列,供有需要的同学阅读。
下文根据Tensor Decompositions and Applications∗ 整理,原文比较长,我主要整理了一些比较常用的,有需要的同学可以直接阅读原文。
我们知道,一维的数组叫向量,二维的叫矩阵,三维及三维以上的就是张量了。
如下图,就是一个三阶张量:
张量分解(一):基础知识
以下为一些张量相关的基础知识:
1)张量的范数:所有元素的平方和的平方根(类似于矩阵的F范数)
张量分解(一):基础知识
2)张量内积:两个相同大小的张量的内积为它们对应元素的乘积之和
张量分解(一):基础知识
3)Rank-one tensors:一种特殊的张量类型,如果一个N阶的张量能以N个向量的外积来表示,那么这就是一个Rank-one tensors,具体如下图:
张量分解(一):基础知识
张量分解(一):基础知识
4)Diagonal tensors:
张量分解(一):基础知识
5)张量乘法:
张量分解(一):基础知识
6)Kronecker product:
张量分解(一):基础知识
7)Khatri-Rao product:其实就是Kronecker product列元素上的匹配:
张量分解(一):基础知识
8)Hadamard product:按元素相乘,因此两个tensor的维度必须相同:
张量分解(一):基础知识

以上,便是张量分解领域部分比较常见的知识点,下一篇文章,我将讲解一个常见的张量分解算法:CP decomposition.

参考:tensor decompositions and application