Question

gep构造决策树的适应值怎么算

Answer 1

信息熵的计算：
-p[i]logp[i]，底数为2
public static double calcEntropy(int p[]) { double entropy = 0; // 用来计算总的样本数量，p[i]/sum即i的概率 double sum = 0; int len = p.length; for (int i = 0; i < len; i++) { sum += p[i]; } for (int i = 0; i < len; i++) { entropy -= p[i] / sum * log2(p[i] / sum); } return entropy; }

给定一个样本数组，先一轮循环计算出样本总量，后面即可得出每个样本的概率，就可以套用公式计算了
信息增益就是信息熵的变化值，信息熵下降最快的节点就可以作为决策树的根节点，缩短树的高度
一个属性A相对样本集S的信息增益为：

gain(S,A) = H(S) – A属性为已知值的加权信息熵