Question

互信息是什么？起到什么作用？

Answer 1

简单介绍

互信息是信息论里一种有用的 信息度量 ，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。简单说，就是两个事件集合之间的相关性。

比如，在图像处理中，常常需要比较两幅图像的相似度，互信息就是其中一种较为常用的方法，其核心思想就是熵。

熵

在互信息中有用到熵的概念，这里我们再简单介绍一下熵。

熵最初是热力学中表征物质状态的参量。其物理意义就是体系的混乱程度。任何一种能量在空间中分布的越均匀，熵越大。当完全均匀分布时，这个系统的熵就达到了最大值，也就是说此时的系统越混乱。

对于事件来说，当所有状态概率相等的时候熵最大，这个时候系统对取什么态没有偏向性，所以混乱度最大。

在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。（这里指的是信息量）

信息熵

在我们处理信息的过程中，我们知道的事件确定性越大，所获取到的信息就会越少。比如，我们知道某件事情一定会发生，那么我们就不会接收到其它信息了。

所以我们获取信息内容的度量，是依赖于概率分布 P(x) ，因此我们要找到的信息量公式 h(x) 是需要随着概率单调递减的函数。所以这里我们选择了

那么对于同一个事件，如果有多种可能，比如下图这样：

那么就可以用来描述信息熵了

上面所提到的底数都没有设置，可以为 2 e 10 ，只是表征一个度量，并没有固定死要求。

互信息的计算公式在信息熵层面可以理解为：

其中的 H(A,B)为联合熵。

相对熵

相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布P Q ，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。下面是维基百科对相对熵的描述

In the context of machine learning, DKL(P‖Q) is often called the information gain achieved if P is used instead of Q.

n为事件的所有可能性。 KL值越小，表示q分布和p分布越接近。

对上式进行变形：

交叉熵：交叉熵实际上是更广泛的相对熵的特殊形式

互信息

互信息实际上是更广泛的相对熵的特殊形式，如果（x,y）~ p(x,y) , X ,Y 之间的互信息 I(X;Y) 定义为：

使用概率的加和规则和乘积规则,我们看到互信息和条件熵之间的关系为

平均互信息

平均互信息表征了两个集合之间的关联程度。具有以下物理含义：

平均互信息 = 先验的平均不确定性 – 观察到 Y后 X保留的平均不确定性。

平均互信息 = 接收到Y后X 的平均不确定性消除的程度。

平均互信息 = 接收到Y 后获取到关于X 的平均信息量。

在联合集（X,Y）上，把互信息量 I(a;b) 的概率加权平均值定义为平均互信息量。其定义式为：