Question

最大似然估计和最小二乘估计的区别与联系

Answer 1

简言之，最大似然估计中，如果当前观测到的事件已发生，即尘埃落定，不会再变了，这就好比统计中的最小二乘法中，观测到的数据不再变化，当然在最大似然中就是他的概率是1，这里可能与贝叶斯定理有一定联系，你们可以考虑一下。但我们在预言当前事件发生的概率却总小于一，这就表明我们的预言有误差，正如最小二乘法中因变量的预言有误差一样。于是我们就想使误差最小，这是一个很自然的想法，也就是使当前事件发生的概率最大，残差最小。这就体现了两者的联系，区别自然很好理解，从其使用目的便可想象出来。