Question

信息熵越大说明什么?

Answer 1

说明事件的不确定性越大。熵越高，说明事件的不确定性越大。而信息不确定性越大时，该信息的价值越高。

计算公式：H =∑p(x) log (1/p(x))，p(x)是概率。通俗解释：

0、单位都是比较出来的，如3kg，是和1kg比较才出来的，所以先定义最基本的不确定性作为标准。

1、熵的单位是比特bits，定义最基本的情况是：做两次等概率事件，才会出现一次结果，对于这种级别的不确定性，定义为1bits，即log2。

3、则显然概率为1/4，则4/1次（倒数）才会出现一次，熵为log4=2。

4、概率为2/5，做5/2次才会出现一次，熵为log5/2。

通俗解释：

1、代表信息的有用程度，越有用信息熵越大，负数是不可能的，我说句话不影响别人也可以影响我自己啊。

2、代表信息的压缩大小，一段话里面有重复的，把重复的去掉就等于压缩，这个压缩的极限就是信息熵。

Answer 2

信息熵越大，说明忽悠的成分越高，越说越增加信息的不确定性。
信息熵很小，说明问题直白，一两句话就能说明白。