Question

支持向量机的基本原理是什么？

Answer 1

　　
　　支持向量机回归分为线性回归和非线性回归，其原理如下：
　　（1）支持向量机线性回归
　　设样本集为：（x1，y1），…，（xi，yi），x∈Rn，y∈R，回归函数用下列线性方程来表示：
　　f（x）=w·x＋b（4.14）
　　假设所有训练数据在ε精度下如图4.5所示无误差地用线性函数拟合，即
　　基坑降水工程的环境效应与评价方法
　　图4.5支持向量机回归
　　考虑到允许误差的情况，引入松弛因子ξi，
　　，则式（4.13）变为
　　基坑降水工程的环境效应与评价方法
　　其中常数C＞0，表示对超出误差ε的样本的惩罚程度，ξi，
　　为松弛变量的上限与下限。为此构造拉格朗日函数：
　　基坑降水工程的环境效应与评价方法
　　得到其对偶问题为：
　　基坑降水工程的环境效应与评价方法
　　基坑降水工程的环境效应与评价方法
　　基坑降水工程的环境效应与评价方法
　　可以得到回归函数为：
　　其中，αi，
　　将只有一小部分小为零，它们对应的样本就是支持向量。
　　（2）支持向量机非线性回归
　　以上讨论的是线性问题，对于非线性问题，把输入样本xi通过ψ：x→H映射到高维特征空间H（可能是无穷维）。当在特征空间中构造最优超平面时，实际上只需进行内积运算，而这种内积运算是可以用原空间中的函数来实现的，没有必要知道ψ的形式。因为只要核函数K（xi，xj）满足Mercer条件，它就对应某一变换空间的内积即K（xi，xj）=ψ（i）·ψ（xj）。这一点提供了可能导致的“维数灾难”问题解决方法。
　　由线性支持向量回归可知，二次规划的拉格朗日目标函数：
　　基坑降水工程的环境效应与评价方法
　　其对偶形式：
　　基坑降水工程的环境效应与评价方法
　　可以得到回归函数为：
　　基坑降水工程的环境效应与评价方法
　　传统的拟合方法通常是在线性方程后面加高阶项。由此增加的可调参数增加了过拟合的风险。支持向量回归用核函数即能作非线性回归，达到了“升维”的目的，增加的可调参数很少，过拟合仍能控制。