Question

线性代数知识点整理 II

Answer 1

8、行列式

8.1 什么是行列式？

首先方阵才有行列式，我们先来简单回顾一下2*2和3*3的矩阵的行列式：

那行列式代表什么含义呢？在二维平面中，矩阵行列式的绝对值代表一个平行四边形的面积，在三维空间中，矩阵行列式的绝对值代表一个平行六面体的体积：

8.2 行列式的性质

(1)单位矩阵的行列式为1

(2)交换任意的两行，行列式变号

(3)对任意一行来说，行列式是“线性”的

从ppt上不好翻译，但是看图是很直观的：

所以，下面的式子是正确的：

同时：

(4)如果行列式有两行相等或者是倍数关系，行列式值为0

这个性质也是很直观的，交换两行变号嘛，但是交换的两行如果是一样的，那么行列式的值应该不变，-a=a那么a只能是0。

(5)对角矩阵的行列式等于对角线上元素的乘积

(6)如果一个方阵的行列式不为0，那么它是可逆的，反之，如果一个方阵可逆，那么它的行列式不为0

如果一个矩阵是可逆的，它可以经由初等变换得到单位矩阵，每一次初等变换得到的矩阵的行列式值，相当于对原矩阵的行列式值乘上一个标量。由于每次乘的标量不为0，所以可以得到原矩阵的行列式值不为0。

(7)det(AB)=det(A)*det(B)

(8)矩阵转置的行列式和原矩阵相同

所以说，刚才的结论同样适用于列。即如果有两列相同或是倍数关系，行列式值同为0，同时每一列也是线性的。

8.3 行列式的计算

我们首先来介绍 余子式和代数余子式 ，一个矩阵的任意一个元素aij都有对应的余子式，它就是将第i行和第j列划掉之后所得到的矩阵的行列式，用det(Aij)表示：

而cij=(-1)i+jdet(Aij)被称为代数余子式。

根据代数余子式，我们可以得到计算行列式的公式如下：

举个3维的例子：

因此，对于一个方阵的行列式，它是n!项的和(n!是n个元素的全排列的个数)，对于每一项，它是从每一行选择一个元素进行相乘，而这些元素分别属于不同列。

有了代数余子式，我们可以得到矩阵A的伴随矩阵。伴随矩阵中的每个元素是原矩阵中该位置元素的代数余子式：

我们可以进一步通过伴随矩阵和行列式值来计算矩阵的逆：

9、子空间

9.1 子空间

如果一个向量集合V满足三个条件:(1)包含零向量(2)如果u和v属于V，那么u+v也属于V(3)如果u属于V，c是一个标量，那么cu也属于V。就称这个向量集合V为 子空间(subspace) :

举个例子，下面的向量集合是一个子空间：

只有零向量的集合也是一个子空间，三条性质都满足。

9.2 零空间

对于一个矩阵A来说，使得Ax=0的所有x所组成的集合被称为矩阵A的 零空间(Null Space) :

9.3 列空间和行空间

列空间(Column Space) 是矩阵A的列所张成的空间， 行空间(Row Space) 是矩阵的行所张成的空间。

在将矩阵化简为行阶梯型之后，矩阵的列空间是改变的，而行空间不变。

好了，我们又可以添加一条判断线性方程组是否有解的条件了，即b是否在A的列空间中。

10、基Basis

10.1 什么是基Basis

假设V是Rn的一个子空间，能够张成空间V的一组线性无关的向量被称为 基(Basis) 。

对于一个矩阵来说，其主列是其列空间的基：

10.2 基的特性

基有如下的特性：

(1)基是一个能张成空间V的数量最小的向量集合

如果一组向量S能够张成子空间V，那么基中包含的向量数目小于或等于S中向量的数目。

(2)基是空间中数量最多的线性无关的向量集合

如果子空间V的基中向量的数量是k，那么你不能找到比k个多的线性无关的向量集合。

(3)子空间中任意的两组基都包含相同数目的向量

这个如何证明呢？

1）假设子空间V中有两组基A和B，个数分别是k和p；

2）因为A是子空间中的基，所以B中的所有向量都可以表示成A中向量的线性组合，即有AC=B，C的列数为p，行数是k；

3）假设存在一个p维向量x使得Cx=0，所以ACx=Bx=0因为B是基，所以Bx=0的解只能是零向量，所以C也是线性无关的；

4）因为C中的列向量是k维的，p个k维的向量线性无关，所以一定有p<=k；

5）同理k<=p，所以最终k=p，即A和B中向量的个数是相同的。

(4)子空间V的基的向量的数量被称为V的维度(dimension)

10.3 判断一个集合是否为基

通过定义，我们可以判断一个集合是否为基，需满足两个条件，向量之间线性无关，同时能够张成空间V，前者容易判断，后者较难判断：

另一种思路，假设对于一个子空间V，我们已经知道它的维度为2，如果S是一个包含k个vector并且属于V的一个子集，那么如果

1）S中的向量线性无关，那么S是一个基

2）S能够张成空间V，那么S是一个基

10.4 三种空间的基和维度

我们之前介绍过对于一个矩阵的三个空间，行空间、列空间以及零空间，他们的基以及维度都是多少呢？

A的列空间

A的列空间的基是主列组成的集合，维度就是主列的个数

A的零空间

A的零空间的的维度是Ax=0中自由变量的个数，基看下面的图片：

A的行空间

A的行空间的维度是化简为简约行阶梯型之后非零行的个数，基就是简约行阶梯型中先导元素所在的行所组成集合。

这里我们可以得出一个结论，矩阵A和其转置的秩相等：

总结一下就是下面这样子啦：

11、坐标系

11.1 使用基表示向量

在n维空间中，我们可以使用基向量来表示坐标系，这样空间中的任意向量的坐标都确定了，但是对于同一向量，使用不同的坐标系，其坐标是不同的：

同理，在不同坐标系下，同一个坐标所代表的向量也不同：

当基确定时，一个向量的坐标也是唯一的，由于基之间是线性无关的，因此证明如下：

在某一坐标系 B 下，一个向量可以表示成其对应的坐标表示：

而我们最为常用的一种坐标系就是直角坐标系(Cartesian coordinate system)，通常表示如下：

那么根据任意坐标系以及某一向量在该坐标系下的坐标，如何得到该向量呢？很简单，该向量可以表示成基的线性组合，系数即为其坐标：

那么，如何得到某一向量在任意坐标系下的坐标，两边同乘B-1即可：

11.2 直角坐标系和其他坐标系的转换

其实我们的向量就是在直角坐标系下的坐标表示，所以其实直角坐标系和其他坐标系的转换我们上一节已经讲过：

11.3 坐标系与线性方程

我们之前所说的线性方程，都是相对于直角坐标系所说的，有时候有些问题直接在直角坐标系下进行求解并不容易，但是转换到另一坐标系下就会变得十分简单，这就得到了通过坐标系转换来求解问题的思路：

我们举个例子来说吧，如果下图中的T表示得到任意一个向量关于直线L的对称向量：

直接求解这个问题非常难，我们想要找的是一个矩阵A，使得T(x)=Ax，直线如果不是横轴或者纵轴的话，要找到这个矩阵A是十分困难的。但是如果直线是横轴或者纵轴的话，这个问题就变得非常简单。假设直线是横轴，那么要找的矩阵我们可以很容易写出：

所以我们可以通过坐标系变换，把直线L变成横轴，那么问题就简单了：

所以我们在直角坐标系下的这个变换矩阵A也就找到了，此时我们可以称两个坐标系下的变换矩阵是 相似矩阵(Similar matrices) ：

假设直线L为y=0.5x，那么求解过程如下：

12、特征值和特征向量

12.1 什么是特征值和特征向量

好了，在写这一节之前，我们看来想一下上一节的东西，我们说一个直角坐标系下的向量v， 其在另一个坐标系下的坐标表示为Bv，这个B是该坐标系下的基所做成的矩阵，所以说 矩阵可以表示一种线性变换(Linear Transformation) ，它将一个向量在直角坐标系下的坐标表示转换为另一坐标系下的坐标表示！

我们知道，任意非零向量都可以张成一条直线，有的向量在一个矩阵A作用后，偏离了其所张成的空间；但有的向量在矩阵A作用后，还是在原有张成的空间，矩阵A只是对该向量起到了一定的伸缩作用，那么我们就说该向量是矩阵A的 特征向量(Eigenvector) ，而这个伸缩作用的大小我们就称为 特征值(Eigenvalue) 。所以我们知道，该向量所张成空间中的所有向量(零向量除外)都是该矩阵的特征向量。下面的例子中，经过变换后横轴没有发生变化，所以横轴的向量都是特征向量，特征值为1。

好了，我们可以给出特征值和特征向量的定义了：

12.2 如何计算特征向量

假设我们已经知道了特征值λ，我们可以根据Av=λv求解其对应的特征向量：

而某一特征值λ的 特征空间(Eigenspace) 定义为(A-λIn)v=0的解集：

Eigenspace也可以说是λ所对应的特征向量再加上零向量(特征向量不能是零向量)

12.3 检查一个标量是否为特征值

检查一个标量是否为特征值，只需要判断其对应的特征空间是否只有零向量即可：

12.4 计算特征值

如果一个标量是矩阵A的特征值，那么他会满足下面所有的条件：

那么如何计算一个矩阵的特征值呢，这里要使用 特征多项式(Characteristic Polynomial) ，特征值是特征多项式的根。即：

举个例子：

这里我们可以得到一个性质，两个相似矩阵的特征值是相同的，证明如下：

那么一个n阶方阵有多少特征值呢？最多n个。如果一个n阶方阵有n个特征值(包括重复值)，那么这n个特征值的的和等于矩阵的迹(trace,即矩阵主对角线的元素之和)，同时，这n个特征值的乘积等于矩阵的行列式。

对特征多项式进行因式分解，我们可以得到如下重要的结论，一个特征值对应的特征空间的维度，小于等于该特征值重复出现的次数。

举例来说：

12.5 正定矩阵&半正定矩阵

如果一个矩阵的所有特征值都大于0，那么这个矩阵被称为 正定矩阵(positive definite matrix) ，如过特征值都大于等于0，则称为 半正定矩阵 。

那么正定或者半正定矩阵的含义是什么呢？这里我们以正定矩阵为例。我们知道一个矩阵的A代表一种线性变化，那么如果一个矩阵是正定的，就有xTAx>0,假设x在经过A的变换后变为y，那么xTy>0，即x和y的内积大于0,或者说夹角小于90度。所以正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于90度。

13、对角化

13.1 可对角化

如果一个n阶方阵A可以变为A=PDP-1,其中D是n阶对角矩阵，P是n阶可逆方阵，那么A就是 可对角化的(diagonalizable) 。但并非所有的矩阵都可以进行对角化：

如果A是可对角化的，那么P中的列向量是A的特征向量，D中对角线元素是A的特征值，证明如下：

同时，我们可以得到如下结论：

13.2 可对角化的性质

本节我们介绍几个重要的性质，

1)不同特征值对应的特征向量之间线性无关。

2)如果一个矩阵A可对角化，那么其特征值对应的特征空间的维度，等于该特征值重复出现的次数。

3)如果一个矩阵A可对角化，那么Am= PDmP-1。

我们首先来看第一个性质：

我们可以假设他们之间线性相关来进行反证：

再来看第二个性质：

14、正交

14.1 范数和距离

我们常用 范数(Norm) 来表示矩阵的长度，其中最常用的是二范数：

两个向量的距离，我们使用的一般是欧式距离：

14.2 点积和正交

点积(Dot Product) 的计算如下：

两个向量是 正交的(Orthogonal) ，如果两个向量的点积是0，那么零向量和任何向量都是正交的。

点积具有如下的性质：

同时，如果两个向量是正交的，那么有如下性质：

在三角形中，我们有著名的三角不等式，两条边长度之和大于第三条边的长度，所以我们有：

14.3 正交补

对于一个非空的向量集合S，该集合的 正交补(Orthogonal Complement) 定义为：

关于正交补，我们有如下性质：