Question

熵的定义公式

Answer 1

熵的定义，有：H(Y|X) = H(X,Y) - H(X)，而根据互信息定义展开得到H(Y|X) = H(Y) - I(X,Y)，把前者跟后者结合起来，便有I(X,Y)= H(X) + H(Y) - H(X,Y)。

熵，汉语二级字， 读作熵(shāng)，1、物理学上指热能除以温度所得的商，标志热量转化为功的程度。2、科学技术上泛指某些物质系统状态的一种量(liàng)度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。