Question

信息论中关于信息量概念的问题

假设信源X发出的消息符号集合为｛1,2,3｝，且是随机的。信源y的消息符号集合也是｛1,2,3}，但是是如下有规律的排列： 1,2,3,1,2,3,1,2,3……，信源y比信源x有规律，按照道理说每个消息符号的信息量比x要小，但是根据公式 I（a)＝－log p(a),信源x的消息每一个消息符号所含的消息量和信源y的每个消息符号所含的信息量是一样的。
请问是怎么回事？

Answer 1

这是一个概念性的问题。信息量也就是熵是一个建立在随机型性基础上的概念。信息量是随机性大小的度量。信源X是随机，可以认为信源X发出符号1，2 ，3的概率都是1/3，即可以按公式I（a)＝－log p(a)来计算。但是 信源y是一个确定的信源，t=0时刻发1，t=1时刻发2，t=2时刻发3等等，这是有规律可循的，随机性为0，即信源y是确定的，它的信源熵为0，不能提供任何信息，信息量为0！！！所以信源x的消息每一个消息符号所含的消息量大于信源y的每个消息符号所含的信息量（信源y的每个消息符号所含的信息量为0）