Question

最大似然估计和极大似然估计一样吗

Answer 1

最大似然估计，对于点估计，有矩估计法和最大似然估计法。

矩估计法，其基于大数定律，求解未知参数θ θθ的时候，是一种简单的替换的思想（样本矩估计总体矩）。

最大似然估计法，基于极大似然原理（概率大的事件在一次观测中更容易发生）。求解未知参数θ θθ的时候，是当它作为估计值时，使样本出现的概率（样本出现的可能性）最大。

离散型总体最大似然估计法的步骤为：选择样本值→构造似然函数(每个样本值对应概率相乘)→似然函数取对数(方便计算)→求导→令导数为0→求出未知参数θ的最大似然估计值。

离散型和连续型唯一的区别，就是离散型取的是每一个样本点的概率，而连续型取的是每一个样本点的概率密度。它们都包含了参数θ θθ，都可以通过取对数求导来算出最大似然估计值。

最大似然估计函数在采样样本总数趋于无穷的时候达到最小方差（其证明可见于Cramer-Rao lower bound）。当最大似然估计非偏时，等价的，在极限的情况下我们可以称其有最小的均方差。对于独立的观察来说，最大似然估计函数经常趋于正态分布。