Question

多分类器结合的分类方法

Answer 1

不同分类器的分类表现差异与其所分类数据的统计分布特征、先验知识、训练数据样本的大小以及分类器本身的结构等多个因素相关联。对于给定的遥感数据，不同的分类器的分类精度不同，而且同一个分类器对不同类别的分类精度也不同。一些科学家对各种分类器的表现进行了比较研究，特别是传统统计分类器和神经网络分类器之间的比较研究（Benediktsson et al.，1990；Bischof，1992；Roli et al.，1996；Roli et al.，1997），基本结论是：没有哪一个分类器是“万灵丹（panacea）”（Giacinto and Roli，1997）。遥感数据分类结果与分类器的“设计”有关。分类器的设计包括分类特征选择和提取、适当的数据先验知识以及合适的分类方法等设计分类过程的各个方面。例如，神经网络分类结果与神经网络结构的选择有很大关系，而K-NN分类器的表现则与合适的 K 值的选择有关。但是，真实的遥感数据是复杂的，同一景遥感数据中不同类别数据的统计分布特征也是不同的，因此在同样的分类方法下，不同类别的分类精度差别很大，而且这种差别随不同的分类方法而不同，常常出现一些分类器只能对一部分类别的分类精度高，而另一些分类器对一部分类别分类精度高。最大似然分类和最小距离分类结果不确定性的差异也显示出不同的分类器对不同类别的分类不确定性的差异。从这个意义上说，不同的分类器之间可能有一定的互补性。当前关于遥感数据分类的研究大部分集中在发展新的分类器，而很少强调利用现有分类器之间的互补性，通过适当的方法将现有的各种分类算法结合起来以提高分类精度（Roli and Giacinto，1997）。

多分类器结合（multiple classifiers combination）的方法又称为多分类器融合（multiple classifiers fusion），或多分类器系统（multiple classifier systems）。近年来，多分类器结合的思想以及关于多分类器结合方法的研究在模式识别领域逐渐兴起，并应用于模式识别应用的各个领域。例如，Ghosh et al.（1995）将多分类器结合应用于信号处理；Xu et al.（1992）将多分类器结合的方法用于手写体的自动识别；Cappelli et al.（2000）研究了指纹识别中的多分类器结合问题。多分类器结合的问题已经成为模式识别领域的一个研究热点。2000年6月在意大利Cagliari市召开了第一届多分类器系统国际会议，内容涉及多分类器结合的理论问题，多分类器结合方法，多分类器系统设计问题以及多分类器结合在各个模式识别问题中的应用（Kittler and Roli，2000）。第二届多分类器系统国际会议于2001年7月在英国剑桥召开，第三届于2002年6月在意大利Cagliari市召开。

多分类器结合的方法在遥感图像分类领域也逐渐得到应用。例如，Pinz and Bartl（1992）提出了一种简单的结合神经网络和最大似然分类进行多光谱遥感数据分类的方法。该方法首先评价神经网络分类结果的置信度，当该置信度小于给定阈值时，采用最大似然分类结果；Wilkinson and Kanellopulos（1995）提出了一种将神经网络分类器和统计分类器结合进行遥感图像分类的方法。该方法分别用最大似然分类器和多层感知器神经网络对 TM图像进行分类，然后逐像元比较两者的分类结果，将分类结果不一致的像元进入另一个神经网络训练并再次进行分类。Steele（2000）比较了乘积结合规则和多层回归方法（stacked regression）结合 K-NN 分类器进行遥感土地覆盖制图的精度；Roli and Giacinto（1997）用多种方法将统计分类器和神经网络分类器结合用于遥感图像分类，指出通过多分类器结合可以在较简单的分类器“设计”下得到满意的分类精度。Giacinto et al.（1997）通过将多个神经网络分类器结合进行遥感图像软分类；Kumar et al.（2000）利用一种层次多分类器系统进行多光谱遥感数据分类；Benediktsson et al.（2000）将多分类器系统用于多源遥感数据分类；Bruzzone et al.（2000）结合参数和非参数分类器进行非监督的土地覆盖图更新；Wan et al.（2000）通过结合多个自组织图进行遥感数据分类。

模式识别领域发展了许多种多分类器结合的方法。根据单个分类器输出类型，可以将分类器结合方法分为抽象级（abstract level）的结合，排序级（ranked level）的结合和测量级（measurement level）的结合三大类（Suen and Lam，2000），每一类中又有多种结合方法。Xu et al.（1992）提出了不同输出级别上的各种结合方法，现被称为多分类器结合的标准方法。我们将这些标准方法引入到遥感图像分类问题中，探讨遥感数据分类中的多分类器结合问题。