Question

最小二乘法和最小二乘估计有啥差别？

是否凡事以残差平方和为最小的优化目标的都叫最小二乘估计。

而最小二乘法只是一种优化方法？它也是属于最小二乘估计。

Answer 1

最小二乘原理
利用样本回归函数估计总体回归函数，是根据一个给定的包含n组X和Y观测数据的样本，建立样本回归函数，使估计值 尽可能接近观测值Yi。最小二乘原理就是根据使样本剩余的平方和达到最小的准则，确定模型中的参数，建立样本回归函数。

线性最小二乘估计
以误差的平方和最小为准则根据观测数据估计线性模型中未知参数的一种基本参数估计方法。1794年德国数学家C.F.高斯在解决行星轨道预测问题时首先提出最小二乘法。它的基本思路是选择估计量使模型（包括静态或动态的，线性或非线性的）输出与实测输出之差的平方和达到最小。这种求误差平方和的方式可以避免正负误差相抵，而且便于数学处理（例如用误差的绝对值就不便于处理）。

线性最小二乘法是应用最广泛的参数估计方法，它在理论研究和工程应用中都具有重要的作用，同时它又是许多其他更复杂方法的基础。线性最小二乘法是最小二乘法最简单的一种情况，即模型对所考察的参数是线性的。

Answer 2

　　
　　最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
　　最小二乘估计是计量经济学研究的直接目的是确定总体回归函数Yi=B1+B2Xi+ui,然而能够得到的只是来自总体的若干样本的观测值，要用样本信息建立的样本回归函数尽可能“接近”地去估计总体回归函数。为此，可以以从不同的角度去确定建立样本回归函数的准则，也就有了估计回归模型参数的多种方法。