Question

libsvm支持向量机C-SVM和NU-Svm的区别

Answer 1

SVM有如下主要几个特点：
（1）非线性映射是SVM方法的理论基础，SVM利用内积核函数代替向高维空间的非线性映射；
（2）对特征空间划分的最优超平面是SVM的目标，最大化分类边际的思想是SVM方法的核心；
（3）支持向量是SVM的训练结果，在SVM分类决策中起决定作用的是支持向量。
（4）SVM 是一种有坚实理论基础的新颖的小样本学习方法。
它基本上不涉及概率测度及大数定律等，因此不同于现有的统计方法。
从本质上看，它避开了从归纳到演绎的传统过程，实现了高效的从训练样本到预报样本的“转导推理”，大大简化了通常的分类和回归等问题。
（5）SVM 的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。
（6）少数支持向量决定了最终结果，这不但可以帮助抓住关键样本、“剔除”大量冗余样本，而且注定了该方法不但算法简单，而且具有较好的“鲁棒”性。
这种“鲁棒”性主要体现在：
①增、删非支持向量样本对模型没有影响；
②支持向量样本集具有一定的鲁棒性；
③有些成功的应用中，SVM 方法对核的选取不敏感
两个不足：
（1） SVM算法对大规模训练样本难以实施
由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。
针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法
（2） 用SVM解决多分类问题存在困难
经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。
可以通过多个二类支持向量机的组合来解决。
主要有一对多组合模式、一对一组合模式和SVM决策树；
再就是通过构造多个分类器的组合来解决。
主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。
如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器。