关于熵的直观理解

任何粒子的常态都是随机运动，也就是“无序运动”，“熵”这个概念，就是“无需运动”的度量，它反映了事物的不确定性，越不确定的事物，它的熵就越大。

$$ 熵的公式为：H(X) = -\sum_{i=1}^n p_i*logp_i (其中i\in(1,n)为失误的第i个取值，p_i为取值为第i个值的概率) $$

比如，对于事物A，它的去取值有3个，取到的概率分别为1/6、1/6、2/3。则该事物的熵为

$$ -\frac{1}{6}*log\frac{1}{6}-\frac{1}{6}*log\frac{1}{6}-\frac{2}{3}*log\frac{2}{3} $$

一般情况下，对于有相同取值个数(假设为2个)的事物B和C，如果B取值的概率分布比C均匀，则B的熵会更大。假设B的两个取值概率均为1/2，而C的取值概率为1/3和2/3:

$$ -2*\frac{1}{2}*log\frac{1}{2} > -\frac{1}{3}*log\frac{1}{3}-\frac{2}{3}*log\frac{2}{3} $$

一般情况下，事物取值个数多的熵会比取值个数少的熵大。
(￣▽￣)

参考博客：https://www.cnblogs.com/pinar...