机器学习传奇大佬，都是从这里开始的

作者简介：白朔天，前滴滴算法专家。本文选自：拉勾教育专栏《机器学习入门21讲》

你好，我是白朔天，欢迎进入“概率论”的学习，本次分享中，我们学习与机器学习相关的概率论知识，主要包括计算概率的两大招式、极大似然估计，以及信息论中关于事件不确定性的度量等内容。

概率计算的两个原理

一、加法原理

我们先从计算某个事件的概率说起。概率是对事件发生可能性的刻画，概率越大事件发生的可能性越大。例如，中国国足与巴西国足将会在明天踢一场友谊赛。既有经验告诉我们，巴西国足实力较强，那么巴西队获胜的概率是比较高的。

这是个很简单的问题，然而当事件相对复杂时，计算概率就没那么容易了。对于复杂事件概率的计算方法，本讲介绍加法原理和乘法原理。

先看加法原理。一个事件的发生可能是多种分支路径的某一个，那么这个事件发生的概率就是全部可能分支的概率之和。

举个例子，假设你在和小明玩掷骰子比大小的游戏。某一局游戏，小明掷了 4 点，求这一局你获胜的概率是多少。你获胜是个事件，这个事件有两个可能的分支路径：

1. 你掷了 6 点，6 大于 4，获胜；
2. 你掷了 5 点，5 大于 4，获胜。

其他的分支就无法获胜了。根据加法原理，你最终获胜的概率就是 1/6 + 1/6，等于 1/3。

本文选自：拉勾教育专栏《机器学习入门21讲》

二、乘法原理

接着，我们再来看乘法原理。除了多个分支以外，一个事件的发生，还有可能是多个子事件联合发生的结果。此时最终这个事件发生的概率，就是所有子事件发生概率的乘积，这就是乘法原理。

假设你还在和小明玩掷骰子比大小的游戏。这次不同的是，求某一局游戏中，小明掷 4 点并且你最终获胜的概率是多少。此时要计算的事件，包含两个子事件：

1. 小明掷 4 点；
2. 小明掷 4 点后，你最终获胜。

分析发现，第一个子事件，小明掷 4 点的概率是 1/6。第二个子事件和前面例子一样，概率为 1/3。这样根据乘法原理，小明掷 4 点并且你最终获胜的概率就是 1/6×1/3，等于 1/18。

加法原理和乘法原理是概率计算的基础，它们可以解决绝大多数事件概率的计算。

极大似然估计原理

一、核心原理

学会了计算概率的意义是什么呢？其实，概率可以帮助我们决策某个未知的变量。

举个例子。假设有两场足球赛在某地同时进行。对阵的双方分别是，巴西队对阵中国队，英国队对阵法国队。我们知道足球赛是户外运动，天气对比赛结果有着重要影响。在此，我们只考虑降水量对比赛结果的影响。

假设在降水量为 x 时，巴西队获胜的概率是 1/(1+2x)，反之巴西队不胜的概率就是 2x/(1+2x)；英国队获胜的概率为 2x/(1+3x)，英国队不胜的概率为 (1+x)/(1+3x)。假设这两场比赛进行时，你在外地出差。比赛结束后，你通过新闻发现结果为巴西胜、英国胜。那么根据乘法原理，你会发现巴西胜、英国胜的概率为 2x/[(1+2x)(1+3x)]。

接下来，你可能会思考，到底比赛那天降水量 x 这个变量是多少呢？如果我们加一个强约束，即让结果发生可能性最大的变量值，就是真实的值。那么问题就变为，x 取值多少时，巴西胜且英国胜的概率 2x/[(1+3x)(1+2x)] 能取得最大值。

通过第一讲偏导法或者梯度下降法，我们都能找到当 x= 1/√6 时，这个概率的最大值为 0.2020。所以，在我们没有其他信息输入时，有理由估计出降水量 x=1/√6 是最可信的结果。

本文选自：拉勾教育专栏《机器学习入门21讲》

二、用法

上面对降水量的估计，就是极大似然估计的核心原理。不知不觉中，我们已经使用它对未知事件降水量做了一次决策。我们先向它打个招呼。

极大似然估计是根据结果，反过来估计过程中某个变量值的过程。因此，从本质上来说，极大似然估计是求解某个变量的过程。从流程上来说，极大似然估计分为两个步骤：

1. 假设未知变量x已知，计算某个事件或组合事件发生的概率，得到一个关于 x 的似然函数 P(x)。
2. 计算似然函数的最大值 maxP(x)，并用取得最大值时的 x* 值，作为真实 x 的估计值。

机器学习中，极大似然估计在逻辑回归中被用作损失函数，它的用法就是首先假定模型参数已知，并建立样本的似然函数；再对似然函数求解最大值，推导出模型的参数值。关于逻辑回归，我们会在后面的课程中深入讲解。

和先前的线性代数一样，这些知识只是概率论、信息论中的冰山一角。如果你以为这样就掌握了概率论、信息论，那就大错特错了。但是，有了这些知识，已经足够你在机器学习的世界中驰骋了。以经典模型为例，极大似然估计是逻辑回归计算模型参数的算法。熵、条件熵等内容，可被用作决策树建模时的损失函数。这些知识是掌握逻辑回归，ID3、C4.5、CART 等决策树模型的前置知识。在后续讲述机器学习算法的课时中，我们会再次与这些知识打交道。

好了，这一课时的内容就讲到这里了，下一课时我们将学习“统计学”的知识，记得按时来听课啊。

本文选自：拉勾教育专栏《机器学习入门21讲》

版权声明：本文版权归属拉勾教育及该专栏作者，任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发布/发表，违者必究。