Question

非线性支持向量机与核函数

Answer 1

如果能用 中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。对应下图的例子，通过变换将左图中椭圆变换称右图中的直线，将非线性分类问题变换为线性分类问题。

核技巧的基本想法是通过一个非线性变换将输入空间（欧式空间 或离散集合）对应于一个特征空间（希尔伯特空间 ），使得在输入空间 中的超曲面模型对应于特征空间 中的超平面模型（支持向量机）。

设 是输入空间（欧式空间 或离散集合）， 是特征空间（希尔伯特空间），如果存在一个从 到 的映射：

使得对所有 ，函数 满足条件：

则称 为核函数， 为映射函数，式中 为 和 的内积。

在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及输入实例与实例之间的内积，它们都可以用核函数 来代替。这等价于经过映射函数 将原来的输入空间变换到一个新的特征空间，将输入空间中的内积 变换为特征空间中的内积 ，在新的特征空间里从训练样本中学习线性支持向量机。

在实际应用中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。

对应的支持向量机是一个p次多项式分类器

将线性支持向量机扩展到非线性支持向量机，只需将线性支持向量机对偶形式中的内积换成核函数即可。

线性可分训练数据集 ，其中 ， ， 。

求得最优解 。

当 是正定核函数时，第一步中的式子是凸二次规划问题，解是存在的。