Question

正则化是什么意思

Answer 1

正则化的意思：修改学习算法，使其降低泛化误差而非训练误差。

正则化，英文为regularizaiton，定义是修改学习算法，使其降低泛化误差（generalization error）而非训练误差。旨在更好实现模型泛化的补充技术，即在测试集上得到更好的表现。它是为了防止过拟合，进而增强模型的泛化能力。

正则化的常见方法

1、提前终止法（earlystopping）

提前终止法适用于模型表达能力很强的时候。此时模型的训练误差会随着训练次数的增多而逐渐下降，但是训练误差却会随着训练次数的增加呈现先下降再上升的趋势（模型可能开始过拟合），提前终止法就是在训练误差最低的时候终止训练。

2、模型集成（ensemble）

常用的模型集成方法有：bagging、boosting、stacking。

3、dropoutd

dropoutd的基本步骤是在每一次的迭代中，随机删除一部分节点，只训练剩下的节点。每次迭代都会随机删除，每次迭代删除的节点也都不一样，相当于每次迭代训练的都是不一样的网络，通过这样的方式降低节点之间的关联性以及模型的复杂度，从而达到正则化的效果。