线性代数基础
一个单独的数
具有大小（magnitude）和方向的量
在一个 维线性空间 中，若对于任意向量 ,均有非负实数 ,并且其满足下列三个条件:
则称 是向量 的向量范数。
机器学习基础公式
二维数组
对应元素相加
的列数与 的行数相等
向量空间的一组元素中，若没有向量可用有限个其他向量的线性组合所表示，则称为 线性无关 或 线性独立 ，反之称为 线性相关(linearly dependent) 。
一个向量组 的秩是 的线性无关的向量的个数
如果把一个向量组看成一个矩阵， 则向量组的秩就是矩阵的秩
在一个 维线性空间 中，若对于任意矩阵 ,均有非负实数 ,并且其满足下列四个条件:
则称 是向量 的向量范数。
为 的特征值的绝对值的最大值
在线性代数中，一个 的矩阵的 迹 （或 迹数 ），是指的 主对角线 （从左上方至右下方的对角线）上各个元素的总和，一般记作或 ：
一个矩阵的迹是其 特征值 的总和（按代数重数计算）。
n 个向量 与 m 个向量 之间的关系
表示从一个变量 到变量 的线性变换。
其中
系数矩阵
称之为 线性变换 的矩阵
线性变换 与 矩阵 是唯一确定的。
设 为 阶矩阵，若存在常数 及 维非零向量 ，使得
则称 是矩阵 的 特征值 ， 是 对就特征值 的 特征向量 。
称为矩阵 的特征方程
n 个变量 的二次齐次多项式
其中
令
则多项式可写为：
该多项式是 元二次型，简称 二次型
该多项式也为二次型的矩阵形式
二次型经过变换，可以写成平方和形式
称为多项式一个标准型。
设非奇异矩阵 ，则一定存在正交矩阵 ,上三角矩阵 ,使
且当 的主对角元素均为正数时，该分解式是唯一的。
设 是秩为 的 实矩阵，
则存在 阶正交矩阵 与 阶正交矩阵 ，
使得
其中
为矩阵A的全部奇异值
