Question

最大似然估计的步骤是怎样的？

Answer 1

基于对似然函数L(θ)形式(一般为连乘式且各因式>0)的考虑，求θ的最大似然估计的一般步骤如下：

(1)写出似然函数

总体X为离散型时：

总体X为连续型时：

(2)对似然函数两边取对数有

总体X为离散型时：

总体X为连续型时：

(3)对

 求导数并令之为0：

此方程为对数似然方程。解对数似然方程所得，即为未知参数 的最大似然估计值。

最大似然估计函数在采样样本总数趋于无穷的时候达到最小方差（其证明可见于Cramer-Rao lower bound）。当最大似然估计非偏时，等价的，在极限的情况下我们可以称其有最小的均方差。对于独立的观察来说，最大似然估计函数经常趋于正态分布。