Question

线性代数知识点整理

Answer 1

课程主页： http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html

一个线性系统满足两个条件：Persevering Multiplication和Persevering Addition。

Persevering Multiplication

Persevering Addition

多元线性方程组是一个线性系统 。

向量是一堆数的集合，分为列向量和行向量，本文中，向量默认是列向量，行向量用其转置表示。

向量与标量相乘 ，每一维都与该标量相乘：

向量相加 ，使用平行四边形法则：

零向量 ：所有维度的值都为0：

标准向量 ：一个维度是1，其余维度是0:

向量集 ：可以包含有限个或无限个向量：

R n : 所有的n维向量组成的向量集合

矩阵是一组向量：

如果矩阵有m行和n列，我们就说矩阵的大小为m*n，如果m=n，我们称为方阵（square matrix）。

矩阵的元素下标表示，先行后列：

矩阵与标量相乘 ：每一个元素分别与该标量相乘。

矩阵相加 ：两个矩阵的形状必须一致，同位置的元素分别相加。

零矩阵 ：所有元素均为0的矩阵。

单位矩阵Identity matrix ：必须是方阵，对角线元素为1，其余为0，用I n 表示n*n的单位矩阵。

同形状的矩阵的一些运算法则 ：

矩阵的转置 ：沿左上到右下的对角线为轴进行翻转，将(i,j)位置的元素与(j,i)位置的元素互换得到的矩阵，转置的矩阵用A T 表示。

矩阵转置的一些运算规则 ：

矩阵和向量相乘，结果如下：

从行的角度来看矩阵和向量相乘 ：从行的角度看，矩阵A和向量x相乘，其结果是矩阵的A的每一行与向量x做点积(dot product,后面再介绍) 的结果。

从列的角度来看矩阵和向量相乘 ：从列的角度看，矩阵A和向量x相乘，相当于对矩阵A的列向量做了一次线性组合。

因此，无论从行角度还是列角度，矩阵A的列数要与向量x的维数相同。

矩阵和向量相乘的一些性质 ：

如果A和B都是m*n的矩阵，对所有的w，如果都有Aw=Bw，那么是否意味着A=B。结果是显然的。既然是所有的w，那么我们用标准向量就可以得到A和B的每一列都是相同的，因此A=B。

对于一个线性方程组，我们可以写成矩阵和向量相乘的形式：

对于一个线性方程组，其解的情况可能是无解，有唯一解或者有无穷多个解。我们把所有的解的集合称为 解集(solution set)

如果线性方程组有解，我们就称其为 相容的(consistent) ，若无解，则称为 不相容的(inconsistent) 。

线性组合是一个操作，将各个向量缩放之后，相加在一起，就得到了参与操作的向量之间的线性组合。

所以线性方程组的问题可以转变成：b是否可以表示成A中列向量的线性组合？

举几个例子：

通过观察上面的例子，你可能会想，在二维平面中，是不是只要两个向量不平行，就一定有解？答案是肯定的，但有解时两个向量不一定平行，因为目标向量也可能跟它们平行。

对于一个向量集S，其向量的所有线性组合组成的向量集V，称为 Span(S) ，也被称为 S张成的空间 。

举几个二维空间中的例子吧，如果S中只有零向量，那么其张成的空间也只有零向量。

如果S中包含一个非零向量，那么其张成的空间是一条直线：

如果一个向量集包含两个不平行的非零向量，那么其可以张成整个二维平面：

所以一个线性方程组的问题又可以转换成两一个等价的问题：向量b是否在A的列向量所张成的空间中？

在上一节中，我们知道了如果b可以表示成A中列向量的线性组合或者b在A的列向量所张成的空间中，那么线性方程组有解，否则无解。但是，有解的情况下是唯一解还是多个解呢？我们还不知道。

给定一个向量集，如果其中一个向量可以表示成其余向量的线性组合，那么我们就说这组向量是 线性相关(Linear Dependent) 的。值得注意的是，零向量是任意向量的线性组合，因此只要包含零向量的向量集，都是线性相关的。

线性相关还有另一种定义，即可以找到一组非全零的标量，使得线性组合为零向量。

与之相对应，如果无法找到一组非全零的标量，使得线性组合得到零向量，那么这组向量就是 线性无关的(Linear Independent) ：

判断向量集是线性无关还是线性相关，其实就是看一个 齐次方程(Homogeneous Equations) 有无非零解：

由此，对于Ax=b，我们可以得到两个结论：如果A的列是线性相关的，且Ax=b有解，那么，它有无穷多个解；如果Ax=b有无穷多个解，那么A的列是线性相关的：

矩阵的秩(Rank) 定义为线性无关的列的最大数目：

矩阵的零化度(Nullity) 是矩阵的列数减去矩阵的秩：

也就是说，如果一个m*n的矩阵，其秩为n的话，它的列是线性无关的：

所以总结一下线性方程组的解的相关问题：

如果两个线性方程组的解集是相同的，我们就称它们是等价的(equivalent)。

对线性方程组做以下三种操作可以得到等价的方程组：
1）交换两行
2）对其中一行变为k倍
3）将一行的k倍加到另一行上

上面的三种操作我们也称为 初等行变换(elementary row operations)

这里我们介绍一下 增广矩阵(Augmented Matrix) ，即将A和b进行横向拼接：

因此，通过初等行变换，如果我们能够将增广矩阵转换为一个相对简单的形式，那么我们可以很快的得出最终的解。

我们首先介绍行阶梯形式的矩阵，它满足两个条件，首先是非零行要在全零行的上面，其 先导元素(leading entries，每行的第一个非零元素) 按阶梯型排列：

在上述两个条件的基础上，如果先导元素所在的列都是标准向量的话，那么它就是 简化行阶梯形式Reduced Row Echelon Form ：

下面的矩阵不是简化行阶梯形式：

而下面的矩阵是简化行阶梯形式：

根据简化行阶梯形式，我们很容易得到线性方程组的解的形式。

如果简化行阶梯形式是[I;b']的，那么线性方程组有唯一解：

下面的例子是有无穷多个解的情况，可以看到，第1、3、5列是包含先导元素的标准向量，其对应的变量也称为基本变量，而第2、4个变量被称为自由变量：

下面的例子是无解的情况，先导元素出现在了最后一列：

通过将增广矩阵化简为简约行阶梯形式，进而求解线性方程组解的方法，我们称之为 高斯消元法(Gaussian Elimination)

接下来，我们来看一下简约行阶梯型形式的一些性质：
(1)化简为简约行阶梯型形式之后，列之间的关系不变

也就是说， 初等行变换不改变矩阵中列之间的关系 。加入A的简约行阶梯形式是R，那么Ax=0和Rx=0有相同的解集。

但是对于行来说，行阶梯形式改变了行之间的关系，比如原先两行是两倍的关系，其中一行变为二倍之后，二者就相等了，关系自然改变了。

(2)简约行阶梯形式改变了矩阵列所张成的空间
举个简单的例子就能理解，假设一个矩阵是[[1,2],[2,4]]，它所张成的空间是y=2x，化简后得到[[1,0],[0,0]]，此时所张成的空间却是整个平面。但是没有改变行所张成的空间。

(3)先导元素所在的列线性无关，其他列是这些列的线性组合
先导元素所在的列，在原矩阵中被称为 主列(pivot columns) ,这些列是线性无关的，其他列可以有主列的线性组合得到。

(4) 矩阵的秩等于主列的个数，等于简约行阶梯型里非0行的个数

根据这个性质，我们可以得到矩阵的秩的一个性质：
Rank(A) <= Min(Number of columns,Number of rows)

因为秩等于主列的个数，所以秩一定小于等于列的个数，因为秩等于简约行阶梯型中非零行的个数，所以秩一定小于等于矩阵行的个数。

有这个性质我们还可以得出两个简单的结论： 对于m*n的矩阵A，如果m<n，那么矩阵A的列一定是线性相关的 和 在R m 空间中，无法找到多于m个线性无关的向量 。

所以我们再来回顾一下矩阵秩的判定，我们已经有多种得到矩阵秩的方式：

(5)当m*n的矩阵A的秩为m是，方程组Ax=b恒有解
对于增广矩阵来说，如果变为简约行阶梯型后先导元素出现在了最后一列，则无解。

什么情况下Ax=b恒有解呢？b是一个m*1的向量，也就是说矩阵A的列向量可以张成整个R m 空间，即A的秩为行数m，也就是A变成简约行阶梯型之后没有全0行。

(6)m个线性无关的m维向量可以张成整个R m 空间，R m 空间中多于m个向量的向量集一定线性相关

如果m*n的矩阵的秩为n或者m，那么说该矩阵为 满秩(Full Rank) 。

给定两个矩阵A和B，其相乘结果中的元素(i,j)是矩阵A的第i行和矩阵B的第j列的内积，因此，矩阵A的列数一定要个矩阵B的行数相等。

矩阵乘法可以看作是两个线性方程的组合：

(1) AB <> BA
(2)(AB) T = B T A T
(3)其他性质

(4)对角矩阵相乘

分块矩阵相乘和普通矩阵相乘其实是相同的：

如果两个方阵A和B的乘积是单位矩阵，AB=I，那么A和B就是互为逆矩阵。

一个矩阵是 可逆的(invertible) 的，必须满足两个条件，首先要是方阵，其次是可以找到另一个方阵B，使得AB=I。

并不是所有的方阵都是可逆的。同时，一个矩阵的逆矩阵是唯一的 ：

逆矩阵可以用来求解一个线性方程组，但这种方法要求A是一个方阵，同时在计算上并不是十分有效率的：

我们之前介绍了三种初等行变换，其实初等行变换都可以用矩阵相乘表示，这种左乘的矩阵被称作 初等矩阵(Elementary Matrix) 。即单位矩阵经过一次初等变换得到的矩阵。

既然左乘一个初等矩阵相当于对单位矩阵做一次初等行变换，那么只要再左乘一个相反操作的初等矩阵，就可以再次变回单位矩阵，所以初等矩阵的逆很容易得到：