线性代数A矩阵乘以A的转置的含义或者几何意义 10

我是在最小二乘法和SVD分解这部分知识中看到的,非常的迷惑,而且为什么A的转置乘以A的特征值是和A乘以A的转置的特征值是相同的呢答案好的,重分!!... 我是在最小二乘法和SVD分解这部分知识中看到的,非常的迷惑,而且为什么A的转置乘以A的特征值是和A乘以A的转置的特征值是相同的呢
答案好的,重分!!
展开
 我来答
教育小百科达人
2019-04-24 · TA获得超过156万个赞
知道大有可为答主
回答量:8828
采纳率:99%
帮助的人:474万
展开全部

对于任意矩阵A(甚至是非方的),A(T)A(这个时候就变成方阵了,可以算特征值了)的特征值就称为A的奇异值。奇异值有个特性,就是A(T)A和AA(T)特征值相同。证明如下:

假定A(T)A做了一个特征分解,为:A(T)A = QΣQ(T)

对上式取转置,有AA(T) = QΣ(T)Q(T)

显然,Σ是个对角阵,因而,Σ(T) = Σ

故而,AA(T)和A(T)A有完全一致的特征分解,即共特征值。

扩展资料:

将A的所有元素绕着一条从第1行第1列元素出发的右下方45度的射线作镜面反转,即得到A的转置。一个矩阵M, 把它的第一行变成第一列,第二行变成第二列,......,最末一行变为最末一列, 从而得到一个新的矩阵N。

设A为n阶方阵,X=(x1,… ,xn)′,二次型f= X′AX的矩阵为:

解:因为未假设A对称,所以f= X′AX虽然是n元二次型,但不能肯定其矩阵是A。只有A对称时,二次型f= X′AX的矩阵才是A。

由于一阶矩阵的转置不变,所以(X′AX)′=X′AX,即就是:X′A′X= X′AX。

由此可得:f= X′AX= X′*1/2*(A+ A′)*X。

注意到1/2(A+ A′)是对称矩阵,所以二次型f= X′AX的矩阵为1/2(A+ A′)。

无论采用的设备多精密,方法有多好,总是会存在一些误差的。由于大的奇异值对应着矩阵中的主要信息,因此可以运用奇异值分解进行数据分析,提取矩阵的主要信息。

参考资料来源:百度百科——奇异值

参考资料来源:百度百科——转置

daliwa7
推荐于2017-09-03 · TA获得超过3883个赞
知道小有建树答主
回答量:801
采纳率:100%
帮助的人:444万
展开全部

(下面以A(T)表示A的转置。)

  1. 先从奇异值说起。我个人的理解,奇异值是特征值的一种推广。因为只有方阵才可能具有特征值,对于实际遇到的一些问题(比如最小二乘问题),往往遇上长方阵,长方阵根本没有特征值。因而就有必要对特征值做推广,这就是奇异值。

  2. 再看什么是奇异值。对于任意矩阵A(甚至是非方的),A(T)A(这个时候就变成方阵了,可以算特征值了)的特征值就称为A的奇异值。奇异值有个特性,就是A(T)A和AA(T)特征值相同。证明如下:

    【假定A(T)A做了一个特征分解,为:

    A(T)A = QΣQ(T)

    对上式取转置,有

    AA(T) = QΣ(T)Q(T)

    显然,Σ是个对角阵,因而,Σ(T) = Σ

    故而,AA(T)和A(T)A有完全一致的特征分解,即共特征值】

  3. 再看特征值和奇异值的关系。对于长方阵来说,它根本不存在特征值,所以之后再讨论。对于方阵来说,容易证明,其所有奇异值恰好为其所有特征值的模长的平方(即奇异值全实非负),因而奇异值和特征值有相当良好的对应关系。证明如下:

    【假定方阵A有如下特征分解:

    A = QΣQ(T)

    则A(T)A = (QΣQ(T))(QΣQ(T)) = QΣΣQ(T)

    因而,A(T)A的特征值,也就是A的奇异值,恰好为A的特征值的模长的平方】

    【当然,对于复数域情况,里边的T要改成H,那么前一个Σ自然会带上复共轭】

  4. 再看奇异值为什么重要。我们知道,对于一个方阵来说,特征分解后,从特征值和特征向量我们就可以知道矩阵的大量性质。对于非方阵来说,我们也希望得到一个这样信息量巨大的分解,这就是奇异值分解(SVD)。这个SVD分解里边左右奇异向量分别是什么你的书上肯定都有,就不写在这里了。

  5. 最后看一下SVD分解和最小二乘的关系。我们知道,最小二乘有个解法,对于Ax = b的最小二乘问题,等价于求解其法方程A(T)Ax = A(T)b,这个时候就变成方阵的问题了。但是这种算法是不稳定的。一种更为有效的算法就是SVD分解并利用广义逆求解。

  6. 看一下广义逆和最小二乘、SVD的关系。广义逆可以百度一下。定义有很多式子。但是,对于可逆阵来说,广义逆就是逆。这里把A的广义逆记作A(+)。则Ax = b的最小二乘解就是x = A(+)b。所以,现在的问题就是,怎么求A的广义逆A(+)。通过SVD分解,广义逆可以这么求:

    如果A有SVD分解如下:

    A = VΣU(T)

    则A(+) = UΣV(T)

    当然,这里叙述可能不那么严谨。因为还涉及到Σ的形状什么的,所以两个式子的Σ形状大小不一样,形状变了,补0就行。

    因此,SVD分解就完美解决了最小二乘问题。

-----更正---------

说错了一点点,奇异值不是特征值的模长的平方,它就是模长,因为奇异值要对Σ(H)Σ对角线开算术平方根。

更多追问追答
追问
那对于最小二乘法,为什么要在左右乘上A的转置进行求解呢?
追答
那种解法称作“法方程”解法。相当于求得一个x,使得A(T)(b-Ax)=0,也就是残差与矩阵A行向量的内积为0,即残差与矩阵A的行空间正交,由投影定理,可以证明,此时残差二范数最小。以上就是法方程的几何意义。法方程的解恰好是最小二乘解还有其他更严格的证明,比如泛函式的证明。但是,法方程法不是最佳解法。一般较优解法是QR分解法以及广义逆法(配合SVD分解)。手机打字有些慢。要是还有问题可以追问,明天我电脑上再接着说。
本回答被网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
catsll
2014-01-27
知道答主
回答量:13
采纳率:0%
帮助的人:2.7万
展开全部
SVD分解中,首先A'A为方阵,只有方阵才可以求特征值。A'A与AA'具有相同的非零特征值,这个可以通过构造分块矩阵的行列式证明。
追问
求证明...那最小二乘法中的A的转置与A相乘呢?
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
pierrelefou
2018-03-26
知道答主
回答量:1
采纳率:0%
帮助的人:888
展开全部
最小二乘法的时候也可以不从“两边乘转置之后再求解”。
我们写成矩阵之后假如是Y=Xb+e YXb都是矩阵,e是那个误差(error)
所以e=Y-Xb,要求(Y-Xb)^2的最小值,(Y-Xb)^2=(Y-Xb)'(Y-Xb)=-2X'(Y-Xb) 这一步就是公式变换
另 -2X'(Y-Xb) =0 就可以求解b了
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
匿名用户
2017-10-22
展开全部
The London and South Western Railway seemed
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 5条折叠回答
收起 更多回答(6)
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式