Question

信息论的理解

Answer 1

        香农信息论对信息下了个很聪明的定义：信息量不取决于信息的长度，而在于减少了多少不确定性。

        比如，32576里每个数都是确定的，意味着排除了所有不确定性，不可删减； 而”那个红红的大苹果肯定很好吃。”这句话里的“红红的大”和“肯定”六个字对排除不确定性帮助不大，信息量小，所以整句话可压缩成“那个苹果很好吃”也不会影响主要信息。

        另外，同一信息在接收第一遍和第二遍所蕴含的信息量也是不同的，往往第一次信息量多于第二次，因为第一次已经获得的信息在第二次就不再进一步排除不确定性了，只有那些还没注意到的或没理解的新信息才能为第二次排除不确定性，才是信息。平时看书也都是这个特点，第二遍看比第一遍看更快，更好理解，那是因为第二遍书中的信息量对于看书的人来说比第一遍少了。

        有些事物蕴含的信息浓度很高，有些蕴含的偏低，那何种更好呢？这要取决于愿意付出多少时间精力，若是时间充裕，也愿意花精力，那么高浓度的当然更适合，反之时间不足或也不太想多费精力，则信息浓度低些更好了。

        比如古代信息传输困难，而大家也都习惯把文字反复诵读理解其中意思，文言文就是最佳选择；现代互联网等通信工具高度发展，信息已经泛滥，时间、精力以及耐心都匮乏的情况下文言文那种信息量巨大，不易消化理解的表达方式就很不合适了，甚至连白话文都不够，很多都以语音、图文结合或视频的方式传播了。

        传递的信息量和接收的信息量之间是有损耗的，原因在于一方面传递速度太快接收不及，另一方面信息的接收难度太大太费精力。因此，我们为了减少信息损耗常常是要做到反复接收，咬牙坚持的。

        冗余信息也是有作用的，它可以在信息受损时拯救恢复正确信息，让信息的抗打击能力增强。比如一段话中有时候抠去几个字，我们仍然可以通过剩下来的字顺利理解主要意思，就如本段文字。