Question

拉格朗日乘数的定义是什么？

Answer 1

，拉格朗日的定义就是，有多少个约束，每个约束乘以拉格朗日乘子再加上原目标，所以是累加。

其实，构造这个公式的意义本身，是要求构造出的无约束问题L(w, b, alpha)与原问题等价。

Hard-margin SVM:


拉格朗日：


在求解L(w, b, alpha)过程中，我们首先将b，w固定，然后在该固定的b，w下，调整alpha，对alpha求导，


得到在该b，w下最大的L_max，那么在所有的L_max中选择一个最小的，其对应的b，w则是该拉格朗日问题的最优的b，w。并且与原Hard-margin SVM求得的b,w相同。该过程也就是


而这两个问题为什么等价，也就是为什么上述两种方法求得的b，w相同呢？下面给一个简单的说明。

假设由拉格朗日问题求得的b, w不满足原SVM的条件，即

又因为alpha>=0,因此


的最大值为正无穷。

2. 假设求得的b, w满足原SVM的条件，即



则要想取得最大值，上式中，只需要alpha_n=0,得到的最大值为


即刚好与原问题等价。