Question

如何度量信息的存在 为什么信息量的大小与信息的出现概率有关

Answer 1

为了引出后面机器学习的一个算法——决策树，我想先讲点基础知识，那就是信息熵。

信息是一个比较抽象的概念，我们常说某句话信息量很大，或者某句话看不懂在说什么。直观上来说，信息是可以量化的。

生活中有些事情是具有不确定性的，比如说预测明天股票的涨势。假如你告诉我，明天世界杯足球赛要开始了，这两者似乎没有太大的关联，那“世界杯足球赛开始”这条信息对于股票涨势的信息量是很小的。但是，假如世界杯足球赛开始，大家都不关注股票了，那就没有人坐庄，那这条信息的信息量就变大了很多。

而有些事情本来就是具有确定性的，比如太阳从东边升起。假如你告诉我，明天太阳会从东边升起，那这句话就没有什么信息量，因为没有什么比这个更确定的事了。

那么，信息量的大小和什么有关呢？

1、可能出现的结果数量。

2、事件发生的概率。
如果一个事件只有可能，那么无论传递任何信息，都不会带来什么信息量。如果一个事件发生的概率越小，事件发生所带来的信息量就越大，反之亦然。

信息熵的定义：

假设有离散随机变量X={x1,x2,...,Xn}，设pi=P{X=xi}，则有：

I(xi)表示xi的自信息量，即事件xi发生所带来信息量的大小。H(x)为事件X的信息熵，即事件X={x1,x2,...xm}的平均信息量，熵是对信息量的一个期望。

有了信息熵的定义，我们可以解决现实中的许多问题。比如英语中的26个英文字母，假设每个字母出现的概率是相等的，那么其中一个字母的自信息量大小就是：

这个公式以2为底数，对应单位为bit，表示该信息的大小需要多少位二进制数可以衡量。

而对于中文来说，我们常知道的汉子大约有7000多个，假设每个字等概率出现，我们大约需要13个比特来表示一个汉字。但由于每个汉字的使用出现的频率是不一样的，有些常用的词类似“的”出现的频率很高，即使这样每个汉字的信息熵也要 8-9 个比特信息。

这也是为什么英文书翻译成中文，总是厚厚的一本。
用公式来解决具体实际问题——称小球问题。

问题：有10个小球，其中有一个小球偏重，用一个天平，需要至少用多少次天平才能把小球找出来？
这个问题大家也比较熟悉，现在我们利用信息熵公式来解决这种问题。

（1）每次使用天平，都会有三种可能性，左偏，右偏和平衡。而且这三种情况的概率是相等得，即每次使用天平可以得到log3的信息量。

（2）要从10个小球中，取出偏重的小球，每个小球都是等概率的，所以这个事件所携带的信息量是log10。

答案是我们最少需要log10/log3（约等于2.09），所以至少需要3次。

Answer 2

消息信号传输信息多少用“信息量”衡量
消息的传递意味着消息的传递，信息可被理解为消息中包含的有意义的内容。
某些消息比另外一些消息传递了更多的信息。
概率论知识：事件出现的可能性愈小，概率愈小
事件出现的可能性愈大，概率愈大
信息量 与消息 出现的概率有关。

Answer 3

详见通信原理第一章，公式