协方差通俗理解
协方差通俗理解是描述两个变量之间的变动关系。
协方差具体定义：
在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。期望值分别为E(X)=μ与E(Y)=ν的两个实数随机变量X与Y之间的协方差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))]。
其中，E是期望值。它也可以表示为：直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。
如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
协方差属性：
两个不同参数之间的方差就是协方差若两个随机变量X和Y相互独立，则E[(X-E(X))(Y-E(Y))]=0，因而若上述数学期望不为零，则X和Y必不是相互独立的，亦即它们之间存在着一定的关系。
协方差特征值和特征向量：
一、特征：
协方差矩阵表示了样本集中在原n维空间中各个方向上的能量分布，通过对协方差矩阵求特征向量，实际上找到的是在原n维空间中的一些特定的方向，样本集的能量集中分布在这些方向上，而特征值的大小就反映了样本集中在该方向上的能量大小。
二、对于协方差矩阵计算特征向量的一个性质：
假设有样本集Xi(i=1,m)，每个样本Xi的维度为n,Xi的均值为0向量，则协方差矩阵C=X*X'，其中X=(X1,X2,Xn)，计算C的特征向量。
三、计算特征向量的两种方法：
1、直接计算C的特征向量。
2、先计算（X）*X的特征向量v1，然后C的特征向量v=x*v1。当样本的个数m大于样本的维数n时，选用方法第二种所得到的矩阵维数较小，因此使用第二种计算量较小；当样本的个数m小于样本的维数n时，选用第一种所得到的矩阵维数小，因此使用第一种计算量小。
