线性可分svm的基本思想
线性可分svm的基本思想
一、决策面方程
以二维空间为例，二维空间中任意一条直线方程可以写为
我们将其向量化，可以得到
设用向量w代表矩阵a1和a2，用向量x代表矩阵x1和x2，标量γ代表b，则方程可化表示为
从方程可知，一个n维空间的超平面在二维空间上的表现，可以是一条直线，或者一个曲线（二维空间中只能看到这个n维超平面穿过而无法看到其模样）， 超平面方程即是我们的决策面方程
二、函数间隔和几何间隔
在SVM监督学习中，我们规定标签数据为+1和-1两个值，这么做的目的， 可以计算出任意一个样本点在超平面方程上的表现结果的符号，与标签符号是否一致来判断分类的正确性 ，为此我们可以引入函数间隔的概念。
但是当我们成比例的缩放w和γ，函数间隔的值也将成比例的变化，可是超平面的位置并没有发生任何变化，所以函数间隔并不是我们想要的分类间隔，为此，我们需要引入几何间隔的概念
Adaboost是一种迭代算法，其核心的思想就是针对同一个训练集训练不同的分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器。
但是算法本身是通过改变数据分布来达到实现，它根据每次训练集之中每个样本的分类正确与否，以及上次的总体分类的准确率，来判断每个样本的权值。
将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器融合起来，作为决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。
SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习的领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。
SVM的主要思想可以概括为两点：
1是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。
2是基于结构风险最小化理论之上在特征空间中构建最优超平面，使得学习器得到全局最优化，并且在整个样本空间的期望以某个概率满足一定上界。
