Question

最小二乘法的本质是什么?

Answer 1

“最小二乘法的本质是最小化系数矩阵所张成的向量空间到观测向量的欧式误差距离。”

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘估计量的特性：

根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式。

这就涉及到最小二乘估计式或估计量的最小方差（或最佳）（Best）性、线性（Linear）及无偏（ Unbiased）性，简称为BLU特性。这就是广泛应用普通最小二乘法估计经济计量模型的主要原因。下面证明普通最小二乘估计量具有上述三特性。

1、线性特性：

所谓线性特性，是指估计量分别是样本观测值的线性函数，亦即估计量和观测值的线性组合。

2、无偏性：

无偏性，是指参数估计量的期望值分别等于总体真实参数。

3、最小方差性：

所谓最小方差性，是指估计量与用其它方法求得的估计量比较，其方差最小，即最佳。最小方差性又称有效性。这一性质就是著名的高斯一马尔可夫（ Gauss-Markov）定理。这个定理阐明了普通最小二乘估计量与用其它方法求得的任何线性无偏估计量相比，它是最佳的。

以上内容参考百度百科  最小二乘法