Question

最小二乘法估计参数

Answer 1

最小二乘法来估计参数，就是使得实际值与估计值的差距的平方最小。

β可以被已知的未知数计算得到是无偏估计的值。但是用最小二乘法可以得到最好的线性无偏估计量，因为变异比较小。所以这种方法就是最稳定的最通用的方法。

如果只有一个β1，也就是只有y与x1，则使用两样本t检验和回归分析是一样的。因为两样本t检验就可以计算β的置信区间，因此也可以在该回归方程中。

另一种估计参数方法是最大似然函数，用此法估计参数值是一样的，但是仅对于y是连续值情况。

采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何。在工程物理、 化学工程、 生物医学、 统计学、 经济学、 信号处理、 自动化、测绘学等领域中， 许多问题都可归结为求解矩阵方程 Ax=b的问题。

通过计算机仿真说明了在模型中所有变量均具有不可忽略的误差时， 全最小二乘法得到的参数估计更接近。除了线性均方估计外，最小二乘估计是另一种不需要任何先验知识的参数估计方法，最小二乘估计不需要先验统计特性，适用范围更广。