Question

（2）决策树算法及其应用

Answer 1

判定树是一个类似于流程图的树结构：其中，每个内部结点表示一个属性上的测试，每个分支代表一个属性输出，而每个树叶节点代表类或类分布。树的最顶层是根节点。

一条信息的信息量大小和它的不确定性有直接的关系，信息量的度量就等于不确定性的多少。信息量的计算公式如下所示：
** 变量的不确定性越大，熵越大 **

选择属性判断结点
信息获取量（Information Gain):Gain(A)= Info(D) - Infor_A(D)通过A作为节点分类获取了多少信息。
实例，以下是对是否购买计算机的群体的一项数据调查:

已知从结果上来看的信息量是:

依次类推，当将age作为第一个结点之后，会得到新生成的三个结点，然后再次重复计算，将三个结点按照决策树原理再次进行分类，知道分类结果唯一。

优点:
直观 便于理解 小规模数据集有效
缺点:
处理连续性变量不好 错误增加的比较快 不适用于大规模数据集

分类（classfication）、回归（regression）、聚类（clustering），降维（dimensionality）
模型选择（model selection）、预处理（preprocessing）

使用的数据文件

得到的dot文件

使用graphviz将dot文件转为png，pdf