Question

在进行线性回归时，为什么最小二乘法是最优方法

Answer 1

线性回归中，你要估计参数的话就需要设计一个函数，然后极小化这个函数来得到参数的估计。最小二乘方法就是这样的，依靠对残差平方和的最小化来估计参数。
还有其他的函数设计，诸如最小一乘方法，或者最小化残差的中位数等。
相比之下，只有最小一乘方法能够达到与最小二乘法相当的一些统计性质：参数估计的无偏性，渐进性等等。只不过在从前，计算机不发达的时候，最小二乘法由于计算的便利性被人们广泛使用。不过近来 ，由于计算机的改良和算法的进步，最小一乘方法的计算效率也可以很高了。加上它有稳健性，即估计值不容易被个别异常值破坏，因此最小一乘的应用也比较广泛。
简单来说，最小二乘就是因为良好的统计性质以及计算的便利性使得它成为了初学的最优的方法。