信息论（二）：随机变量的信息度量

1.信息与信源

信源发出的消息在未收到前是不确定的随机过程，可以用随机变量描述，或者说用一个样本空间及其概率测度来描述信源。
信源分为离散信源和连续信源。

• 离散信源：可用离散型随机变量来表示，信源常记作：$X = \{x_1, ..., x_n, ...\}$ ，例如，天气预报。
  数学模型：

$$ \begin{bmatrix} x \\ p(x) \\ \end{bmatrix} = \begin{bmatrix} x_1 & ... & x_n \\ p(x_1) & ... & p(x_n) \\ \end{bmatrix} $$

其中， $0≤p(x_i)≤1, \sum p({x_i}) = 1$

• 连续信源：可用连续型随机变量来表示。例如，电压、温度。
  数学模型：

$$ \begin{bmatrix} x \\ p(x) \\ \end{bmatrix} = \begin{bmatrix} (a,b) \\ p(x) \\ \end{bmatrix} $$

其中， $\int_{a}^{b} p(x)dx = 1$

2.自信息

2.1 自信息

信源所发出的某信息$x$所含的信息量$I(x)$（即$x$的自信息），$I(x)$应是$p(x)$的单调递减函数：
$I(x)=f[p(x)]$
自信息满足如下公理：

1. 非负性：$I(x)＞0$
2. 若$p(x) = 0$，则$I(x) \longrightarrow \infty$
3. 若$p(x) = 1$，则$I(x) = 0 $
4. 严格单调性：若$p(x)＞p(y)$，则$I(x)<I(y)$
5. 若$p(x,y)=p(x)p(y)$，则$I(x,y)=I(x)+I(y)$

定义：若$x \in X$有概率$p(x)，则$x$的自信息为：

$$ I(x)=\log{\frac{1}{p(x)}}=-\log p(x) $$

默认以2为底

注1：$I(x)$的两个含义

• 当事件发生前，表示该事件发生的不确定性。
• 当事件发生后，表示该事件提供的信息量。

注2：自信息量的单位与所取对数的关系

• 以2为底——比特(bit)
• 以$e$为底——奈特(nat)
• 以10为底——哈特(hart)

2.2 联合自信息

定义：若$x_i,y_j$同时发生，可用联合概率$p(x_i,y_j)$来表示，数学模型：

$$ \begin{bmatrix} (x,y) \\ p(x,y) \\ \end{bmatrix} = \begin{bmatrix} (x_1,y_1) & ... & (x_i,y_j) & ... & (x_n,y_m)\\ p(x_1,y_1) & ... & p(x_i,y_j) & ... & p(x_n, y_m) \\ \end{bmatrix} $$

其中 $0≤p(x_i,y_j)≤1, \sum_{i=1}^n \sum_{j=1}^m p(x_i, y_j)=1$
$x_i,y_j$的联合信息为：

$$ I(x_i,y_j)=\log{\frac{1}{p(x_i,y_j)}}=-\log{p(x_i,y_j)} $$

注：当$x_i,y_j$相互独立时：

$$ I(x_i,y_j) = I(x_i) + I(y_j) $$

依次可往下推广。

2.3 条件自信息

定义：设在$y_j$条件下，$x_i$发生的条件概率为$p(x_i|y_j)$，则其条件自信息定义为：

$$ I(x_i,y_j) = \log{\frac{1}{p(x_i|y_j)}}=-\log{p(x_i|y_j)} $$

同理可得：

$$ I(y_j,x_i) = \log{\frac{1}{p(y_j|x_i)}}=-\log{p(y_j|x_i)} $$

2.4 互信息

定义：事件$y_j$的出现给出关于$x_i$的信息量称为互信息，即：

$$ I(x_i;y_j)=\log{\frac{p(x_i|y_j)}{p(x_i)}}=\log{\frac{1}{p(x_i)}}-\log{\frac{1}{p(x_i|y_j)}}=I(x_i)-I(x_i|y_j)=I(y_j)-I(y_j|x_i)=I(y_j;x_i) $$

上式表明，互信息量等于自信息量减去条件信息量，或者说互信息量是一种消除的不确定性的度量（事件$y_j$发生使$x_i$的不确定性减小或者事件$y_j$发生提供$x_i$的信息量）

注：

• $I(x_i;y_j)=I(y_j;x_i)$
• $I(x_i;y_j) = 0$，则$x_i,y_j$相互独立
• $I(x_i;y_j)$可正可负