在ER中，有一类算法依靠参考结构化数据库的模型实现，以便提高ER的速度。但是这类算法常常在运行中产生了大量重复计算，降低了效率。由此，通过介绍以下方法，来解决这个问题：

信息熵 定义 {代码...} 例子 1.掷硬币 在该模型下，p = 1/2 。一次实验的， x的发生的次数的期望是 1/2,x发生一次，期望要做的试验次数是 2 因此，由上述可知: {代码...} 2.摸球 4个球 1个红球 2个绿球 1个黑球 {代码...} 显然 {代码...} 相对熵 (KL散度) KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来 ...