Naive Bayes

<script type="text/x-mathjax-config">
MathJax.Hub.Config({

extensions: ["tex2jax.js"],
jax: ["input/TeX"],
tex2jax: {
  inlineMath: [ ['$','$']],
  displayMath: [ ['$$','$$']],
  processEscapes: true
}

});
</script>
<script type="text/javascript" src="https://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS_HTML,http://myserver.com/MathJax/config/local/local.js">
</script>

Naive Bayes

这是一个 民间学术“屌丝” 在死后才 逆袭 的故事

Thomas Bayes（1702-1763）《An essay towards solving a problem in the doctrine of chances》

对偶问题

: 在解决具体某个问题 P 的时候，往往由于参数、定义域等问题，不好直接处理。但可以把问题 P 转换成与之等价的问题 Q。通过解决 Q问题，来得到 P问题 的解。这时，Q问题就叫做P问题的“对偶问题”

1. 贝叶斯方法

“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率θ是多少？频率派认为是 1/2, ”贝叶斯认为取得白球的概率是个不确定的值，因为其中含有机遇的成分。

比如，一个朋友创业，你明明知道创业的结果就两种，即要么成功要么失败，但你依然会忍不住去估计他创业成功的几率有多大？你如果对他为人比较了解，而且有方法、思路清晰、有毅力、且能团结周围的人，你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于 “非黑即白、非0即1”的思考方式，便是贝叶斯式的思考方式。

频率派

把需要推断的参数θ看做是固定的未知常数，即概率虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；

贝叶斯派

认为参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。

贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布，即在有样本之前（或观察到X之前），有着怎样的分布呢？

比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布，或的无条件分布。

至此，贝叶斯及贝叶斯派提出了一个思考问题的固定模式：

先验分布 == 无条件分布

先验分布 $ pi(theta) $ + 样本信息 后验分布