Question

互信息量的性质

Answer 1

互信息量的性质信息量是源于通信领域而逐渐普及成为大众与媒体频繁使用的一个词，将它与一篇科技论文联系起来，是指在篇幅有限的情况下，论文本身能向读者提供多少有关该论题的信息。

如果 构成马式链，则 其他 某个词t和某个类别Ci传统的互信息定义如下: 互信息是计算语言学模型分析的常用方法，它度量两个对象之间的相互性。在过滤问题中用于度量特征对于主题的区分度。互信息的定义与交叉熵近似。

互信息本来是信息论中的一个概念,用于表示信息之间的关系, 是两个随机变量统计相关性的测度，使用互信息理论进行特征抽取是基于如下假设:在某个特定类别出现频率高,但在其他类别出现频率比较低的词条与该类的互信息比较大。通常用互信息作为特征词和类别之间的测度，如果特征词属于该类的话，它们的互信息量最大。

由于该方法不需要对特征词和类别之间关系的性质作任何假设，因此非常适合于文本分类的特征和类别的配准工作。

一般而言，信道中总是存在着噪声和干扰，信源发出消息xi，通过信道后信宿只可能收到由于干扰作用引起的某种变形的 yi。信宿收到 yi 后推测信源发出 xi 的概率，这一过程可由后验概率 P(xi | yi) 来描述。