极大似然估计

概率与似然

引用维基百科上对概率与似然的描述

• 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性

• 在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

以上这段话就概括得还是挺抽象了，"概率"和"似然"其实是从不同的角度去看待事件发生的可能性

。以抛一枚硬币为例子(随机变量是离散型)，样本空间$\Omega =\{正,反\}$、对于随机变量$X$，当$w=$"正"时，观察值$x_1=X=1$；当$w=$"反"时有观察值$x_2=X=0$ 、 $\theta =\{均质,非均质\}$，有以下分布律(叫概率函数更容易理解吧)

$P(x_i;\theta )$是函数模型，$x_i$表示一个具体的样本观察值；$\theta$表示模型的参数。

• 如果$\theta$是已知确定的(均质)，$x_i$是变量，这个函数叫做概率函数(probability function)，它描述对于出现出面还是反面，其出现的可能性(概率)是多少。

• 如果$x_i$是已知确定的(正面向上)，$\theta$是变量(未确定硬币的质量分布，不同的分布可能导致硬币更容易正面向上或反面向上)，这个函数叫做似然函数(likelihood function), 它描述对于不同的质量分布，出现下面向上这种情况可能性(似然)是多少。

概率是给定某一参数值，求某一结果的可能性； 似然是给定某一结果，求某一参数值的可能性。

似然函数

似然函数是一种关于统计模型中的参数的函数，分别就总体$\xi$是离散型分布以及连续型分布的情况说明似然函数的形式,设$x_1,x_2......x_n$是取自总体$\xi$的一个样本

设总体$\xi$为离散型分布，其分布律为

其中$\theta$为未知参数，对给定的样本观察值$x_1,x_2......x_n$，令

若总体为连续分布，其密度函数为$f(x;\theta )$，其中$\theta$为未知参数，对给定的样本观察值$x_1,x_2,...,x_n$(已发生的，确定的)，令

可以看出，似然函数$(x_1,x_2,...,x_n;\theta )$是未知参数$\theta$的函数，它反映了对给定的样本观察值被取到的可能性(对于不同的$\theta$被取到的可能性不同)，我们所关注的是，什么情况下最有可能取到，当似然函数值最大的时候表示可能性达到最大，此时也会对应得到一个具体的参数$\theta$，如果用$\hat{\theta }$表示，那么就称$\hat{\theta }$为$\theta$的最大似然估计，即

最大似然估计是根据已知的样本的结果，反向推测最有可能得到这样结果的模型的参数值。

了解了最大似然估计的意义，下面就是求最大值的数学问题，一般通过求导数来解。

实例计算

首先来约定一个表达式$d->P_x(0<x<1)$，它表示：硬币质量分布为$d$时，此时随机抛一次得到正面向上的概率$p=x$

如果我们知道硬币是均质的($d->P_{0.5}$)，那么"抛 10 次得到 6 次正面向上"的概率约为0.205

问题：如果在不知道硬币的质量分布$\theta$的情况下进行了 10 次试验，最终也是得到 6 次正面向上的结果(1,0,1,1,0,0,0,1,1,1)，那么能不能得到硬币的质量分布最可能是怎么样的???

1.找到分布律

抛硬币试验服从二项分布，总体可以看成无限大(无穷无尽地抛下去)，质量分布未知时，出现正面向上的概率为 p，则反面向上的概率为 1-p,出现下面向上的次数$\xi$是二项分布随机变量，其它取值可能是：0，1，2，...，k，...，n；有如下分布律

其中 n 表示抛 n 次，k 表示得到 k 次正面向上

2.写出似然函数

3.求导数

对上式取对数得到对似然方程

再对 p 进行求导

解得$p=0.6$，它的意思是，硬币的质量分布为$d->P_{0.6}$时，最有可能出现“抛 10 次得到 6 次正面向上”这种结果

如果不使用最大似然估计的解法，把各种质量分布情况下得到“抛 10 次得到 6 次正面向上”这种结果的可能性列举出来，可以看到$d->P_{0.6}$时最有可能，而出现这种结果且硬币是匀质($d->P_{0.5}$)的可能性为 0.205078125

参考

1.《概率论与数理统计》 郝志峰 谢国瑞 汪国强

2. 概率（probability)、似然（likelihood)、极大似然法：http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html)

3. 似然（likelihood）与概率（probability）的区别：http://yangfangs.github.io/2018/04/06/the-different-of-likelihood-and-probability/