最大似然估计与最大后验估计

前言

本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。

MLE VS MAP

最大似然函数（MLE）和最大后验概率估计（MAP）是两种完全不同的估计方法，最大似然函数属于频率派统计（认为存在唯一真值 θ），最大后验估计属于贝叶斯统计（认为 θ 是一个随机变量，符合一定的概率分布），这是两种认识方法的差异。模型不变，概率是参数推数据，统计是数据推参数。

最大似然估计

似然函数是一种关于模型中参数的函数，是根据模型的观测值，估计模型中参数的值。给定输出 x ，关于 θ 的似然函数 L(θ|x) 数值上等于给定参数 θ 后变量 X 的概率。其数学定义为：

$$ L(θ|x)=f_θ(x)=P_θ(X=x) $$

最大似然估计是其中的一种好的估计，在样本趋近于无穷时，最大似然是收敛率最好的渐进估计，且由于它的一致性和统计效率，在机器学习中也是首选的估计方法。在独立同分布情况下：

$$ \hatθ_{MLE}=argmaxP(X;θ)=argmaxP(x_1;θ)P(x_2;θ)...P(x_n;θ) =argmax\log\prod_{i=1}^nP(x_i;θ)\\\\=argmax\sum_{i=1}^n\log P(x_i;θ) =argmin-\sum_{i=1}^n\log P(x_i;θ)//负对数似然 $$

由于对数函数单调增，因此想要求 L 的最大值，可以求其对数作为求其最大值的函数，这样求出的结果是相同的。深度学习所做分类任务中用到的交叉熵本质是求最大似然函数。

条件最大似然估计

$$ \hatθ_{MLE}=argmaxP(Y|X;θ)=argmax\sum_{i=1}^{m}\log{P(y^{(i)}|x^{(i)}|θ)} $$

最大后验估计

贝叶斯公式：

$$ P(θ|x)=\frac{P(x|θ)P(θ)}{P(x)} $$

其中 P(x|θ) 是似然函数，P(θ) 是先验概率。

则最大后验估计的数学定义为：

$$ \hat \theta_{MAP}(x)=\arg \max_\theta f(\theta|x)=\arg \max_\theta \frac{f(x|\theta)g(\theta)}{\int_\vartheta f(x|\vartheta)g(\vartheta)d\vartheta}=\arg\max_\theta f(x|\theta)g(\theta) $$

theta 为需要估计的参数，f 为概率，g 为先验估计，最大化后验估计通过 f·g 求得。当先验分布为常数时，最大后验估计与最大似然估计重合。

总结

最大似然估计与最大后验估计对比分析。