Question

正则化中，为什么说模型越复杂，正则化值越大

Answer 1

L1正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；

L2正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小

在实际使用中，如果特征是高维稀疏的，则使用L1正则；如果特征是低维稠密的，则使用L2正则。

最后，附一张示意图。

向左转|向右转

右侧是L1正则，最优解位于坐标轴上，意味着某些参数是0。