Question

线性代数与数值方法

Answer 1

主要分以下几个方面进行说明：

奇异值分解可将任意 实数矩阵 分解成如下形式：

其中， ，矩阵 和 是正交矩阵，即 和 。其中 主对角线上的值为矩阵 的奇异值，所有奇异值均是非负的，并按照降序排列。如果仅有前r个奇异值是正的，那么矩阵A的秩即为r，同时SVD下标可用r取代。

应用
1.求伪逆（求解线性最小平方、最小二乘问题）：
若矩阵 的奇异值分解为 ，那么 的伪逆为 ，其中 是 的伪逆，将原矩阵主对角线上每个非零元素求倒数之后再转置得到。
2.矩阵近似值（PCA降维）：
PCA算法的作用是把数据集映射到低维空间，数据集的特征值(在SVD中用奇异值表征)按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量组成的空间即为降维后的空间。

如果矩阵 是对称阵 那么其特征值分解的形式：

这里 是特征向量， 是特征值且
其中对称阵 可以通过一系列外积之和来构造

在这种情况下，我们可以保证所有特征值 都是非负的。
此时产生的矩阵 是半正定矩阵，即对任意非0列向量 ，存在 如果矩阵 满秩所有特征值均为正，称为对称正定矩阵(SPD)。
对称正定矩阵在数据统计分析中表示一组数据点 围绕其中心 产生的协方差

矩阵 的特征值和特征向量与 的奇异值和奇异向量有着紧密联系若有 则 由此我们可以知道 且矩阵 的左奇异向量就是矩阵 的特征向量。