统计学之讲讲切比雪夫定理

前面讲了大数定理，讲了中心极限定理，有读者留言让讲讲切比雪夫定理，安排。这一篇就来讲讲切比雪夫定理。

在讲切比雪夫定理之前，我们先看下切比雪夫不等式：

其中P表示概率，X是随机变量，μ是期望，k是常数，σ是标准差，整个公式表示距离期望μ越远的值出现的概率是越小的。

再拿正态分布这张图来感受下，大部分值都是分布在均值附近的，离均值越远的值是越少的，对应出现的概率也就越低。

关于不等式的证明，我们就不证明了，有兴趣的同学可以去了解下，我们直接拿来用就好。

看完不了不等式，我们再来看定理，其实是一回事的，切比雪夫定理表示：

在任意一个数据集中，位于其均值±m个标准差范围内的数值比例至少为1－1/m2，其中m为大于1的任意正数。

对于m=2，m=3和m=5有如下结果：

所有数据中，至少有3/4（或75%）的数据位于均值±2个标准差范围内。
所有数据中，至少有8/9（或88.9%）的数据位于均值±3个标准差范围内。
所有数据中，至少有24/25（或96%)的数据位于均值±5个标准差范围内。

拿前面的正态分布为例，在均值±2个标准差范围内的数据约占到全部的95%。

我们来模拟生成两个不同分布(正态&非正态)的数据验证下：

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
#生成正态数据
norm_data = np.random.randn(1,990) 
#生成非正态数据
x = np.arange(0.01,1,0.001)
long_data = 1/x
data = pd.DataFrame({"norm_data":norm_data.reshape(990,),"long_data":long_data})
#绘制概率分布图
plt.figure(figsize = (8,8))
plt.subplot(221)
sns.distplot(data["norm_data"])
plt.subplot(222)
sns.distplot(data["long_data"])
#将正态&非正态数据按照标准差进行切分
norm_data_std_bin = [-np.inf
                     ,data["norm_data"].mean() - 3*data["norm_data"].std()
                     ,data["norm_data"].mean() - 2*data["norm_data"].std()
                     ,data["norm_data"].mean() - 1*data["norm_data"].std()
                     ,data["norm_data"].mean()
                     ,data["norm_data"].mean() + 1*data["norm_data"].std()
                     ,data["norm_data"].mean() + 2*data["norm_data"].std()
                     ,data["norm_data"].mean() + 3*data["norm_data"].std()
                     ,np.inf]
long_data_std_bin = [-np.inf
                     ,data["long_data"].mean() - 3*data["long_data"].std()
                     ,data["long_data"].mean() - 2*data["long_data"].std()
                     ,data["long_data"].mean() - 1*data["long_data"].std()
                     ,data["long_data"].mean()
                     ,data["long_data"].mean() + 1*data["long_data"].std()
                     ,data["long_data"].mean() + 2*data["long_data"].std()
                     ,data["long_data"].mean() + 3*data["long_data"].std()
                     ,np.inf]
data["norm_data_cut"] = pd.cut(data["norm_data"],bins = norm_data_std_bin)
data["long_data_cut"] = pd.cut(data["long_data"],bins = long_data_std_bin)
plt.subplot(223)
(data["norm_data_cut"].value_counts().sort_index()/data["norm_data_cut"].count()).plot(kind = "bar",rot = 30)
plt.xticks(np.arange(0,8),["[-inf,u-3σ]","[u-3σ,u-2σ]","[u-2σ,u-σ]","[u-σ,u]","[u,u+σ]","[u+σ,u+2σ]","[u+2σ,u+3σ]","[u+3σ,+inf]"])
plt.subplot(224)
(data["long_data_cut"].value_counts().sort_index()/data["long_data_cut"].count()).plot(kind = "bar",rot = 30)
plt.xticks(np.arange(0,8),["[-inf,u-3σ]","[u-3σ,u-2σ]","[u-2σ,u-σ]","[u-σ,u]","[u,u+σ]","[u+σ,u+2σ]","[u+2σ,u+3σ]","[u+3σ,+inf]"])

通过运行上面的代码可以得到如下四张图：

第一行是正态&非正态数据的概率分布，第一张是完美的正态分布，第二张是长尾分布。

第二行是正态&非正态数据中均值±m个标准差范围内的数据占比，可以看到第一张图中的数据占比与我们前面的正态分布示意图中是一致的，第二张图因为是长尾分布，所以大部分数据都集中在了均值均值±1个标准差范围内。

综上，不管是正态分布还是非正态分布，随机变量的分布情况都是满足切比雪夫定理的。这就像，有人说他月薪不超过100w一样。在大多数情况下都是正确的。

切比雪夫定理的一个应用场景就是用来对数据进行预估，比如你现在知道一个群体收入的均值和标准差，然后想要根据均值和标准差得出这个群体的整体收入情况，比如90%的人的收入是多少、80%的人的收入是多少？这个预估问题应该怎么算呢？

如果你已经确切的知道了这个群体的收入是符合正态分布的，那就简单了，我们知道正态分布中的数据是平均的分布在均值两侧的，90%的人会有45%的人小于均值，另外45%的人大于均值。

可现实情况中，并不是所有的数据都是符合正态分布的，也并不可以知道所有数据的真实分布情况，这个时候就可以用切比雪夫定理。要预估90%的人的收入问题，只需要让1-1/m2等于90%，即可求出m值，通过m值就可以知道90%的人的收入情况。

如果知道具体的分布，可以用具体的分布去进行估计，这样肯定更加准确，但是如果不知道具体分布的时候，可以用切比雪夫，虽然不是很精确，但是总比闭着眼睛猜要靠谱点。