Question

特征值、特征向量和奇异值

Answer 1

为特征向量 对应的特征值。特征值分解是将一个矩阵分解为如下形式：

其中， 是这个矩阵 的特征向量组成的矩阵， 是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵 的信息可以由其特征值和特征向量表示。

那么奇异值和特征值是怎么对应起来的呢？我们将一个矩阵 的转置乘以 ，并对 求特征值，则有下面的形式：

这里 就是上面的右奇异向量，另外还有：

这里的 就是奇异值， 就是上面说的左奇异向量。【证明那个哥们也没给】
​奇异值 跟特征值类似，在矩阵 中也是从大到小排列，而且 的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前 （ 远小于 ）个的奇异值来近似描述矩阵，即部分奇异值分解：

右边的三个矩阵相乘的结果将会是一个接近于 的矩阵，在这儿， 越接近于 ，则相乘的结果越接近于 。