极大似然估计

根据已知的样本结果信息，反推最有可能导致该结果的模型参数。

什么是极大似然估计

一句话，一个参数估计方法，就是确定了模型（比如正态分布），但是参数未知（正态分布的均值和方差未知），有了数据，我需要计算均值$\mu$和方差$\theta$。为了求极大似然估计，我们先要了解似然函数

似然（likelihood）函数

考虑函数$P(x|\theta)$，这个函数有两个输入，$x$表示具体样本，$\theta$表示模型参数，那么

• 当$\theta$已知，该函数退化为概率函数，即样本$x$出现的概率
• 当$x$已知，该函数退化为似然函数，即对于不同模型参数，出现$x$这个样本的概率

最大似然估计就是第二个问题，已知$x$，求$\theta$，使$P(x|\theta)$最大

极大似然估计的特点

极大似然估计的例子

假设一个袋子里有黑球和白球，现在往出放回地摸球，一共摸了十次，有7次黑球3次白球，问黑球所占比例最有可能是多少？如果我们将这个事件视为二项分布，且假设黑球出现的概率为$\theta$，那么现在模型已知（二项分布）、样本已知（10次里7次黑球），求模型参数（$\theta$的值）。假设样本$x_0={1,1,1,0,1,1,0,1,0,1}$。那么似然函数可以写为：

$$f(x_0|\theta)=\theta^3(1-\theta)\theta^2(1-\theta)\theta(1-\theta)\theta=\theta^7(1-\theta)^3=f(\theta)$$

上面的$f(\theta)$就是我们的似然函数，最大似然估计就是求这个函数的最大值，即$\frac{\textrm{d}f(\theta)}{\textrm{d}\theta}=0$。

参考文献