Question

LR和SVM的联系与区别

Answer 1

LR与SVM都是机器学习中经常会用到的算法。现在想深入了解每种模型直接的异同，提升自身水平。找到一个博客解释的比较好： 博客：LR与SVM的异同 。下面的内容也是跟着这篇博客进行学习的。

按照label的类型进行判别，如果label是离散的，如0或1，那么就应该是分类算法。如果label是连续的，就应该是回归算法。当然SVM也可以用于回归。

LR与SVM都是监督学习。

简单来讲，就是LR/SVM都是会生成一个判别函数（不关系数据分布，只关心数据间的差别）去分类，而生成模型会计算联合概率（通过联合概率去找到数据的分布），然后根据数据分布去分类。
KNN/LR/SVM是判别模型；
朴素贝叶斯和隐马尔可夫模型是生成模型。

基础版本的LR和SVM都是线性模型，核函数另算。

LR：是基于概率理论和极大似然估计
SVM：是基于几何间隔最大化原理

线性SVM是基于几何间隔，所以需要normalization。LR不需要。

SVM的目标函数中有个L2正则化项：1/2||w||^2
LR需要在损失函数外，额外添加正则项。

LR和SVM的异同
LR和SVM的原理：机器学习-周志华，统计学习方法-李航