Question

SVM原理（1）

Answer 1

训练集 => 提取特征向量 => 结合一定的算法（分类器：比如决策树，KNN）=>得到结果

3.1例子：

图中哪条线对于区分两类小球好呢？
3.2 SVM寻找区分两类的超平面（hyper plane), 使边际(margin)最大

总共可以有多少个可能的超平面？无数条

如何选取使边际(margin)最大的超平面 (Max Margin Hyperplane)？

超平面到一侧最近点的距离等于到另一侧最近点的距离，两侧的两个超平面平行

3.3. 线性可区分(linear separable) 和 线性不可区分 （linear inseparable)

有两类，分别是线性可区分和线性不可区分，我们先讲线性可区分

超平面可定义为：

w : weight vector

X 是训练实例
b ：bias

4.1 假设2维特征向量：X = (x1, X2)

把 b 想象为额外的 wight

超平面方程变为：

所有超平面右上方的点满足：

所有超平面左下方的点满足：

调整weight，使超平面定义边际的两边：

综合以上两个式子得到：

决定决策边界的数据叫做支持向量，它决定了margin到底是多少
分界的超平面和H1或H2上任意一点的距离为 ：

(i.e.: 其中||W||是向量的范数(norm))

所以，最大边际距离为：

5.1 SVM如何找出最大边际的超平面呢(MMH)？
利用一些数学推倒，以上公式 （1）可变为有限制的凸优化问题(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)条件和拉格朗日公式，可以推出MMH可以被表示为以下“决定边界 (decision boundary)”

其中，
yi是支持向量点xi的类别标记
X^T是要测试的实例

具体的公式推导，可以自己在纸上推到试试。