Question

测试集验证集和训练集的作用

Answer 1

• 测试集(Test set)的作用：

  用于评估训练出的模型效果，但不会改变模型的参数及效果，一般验证模型是否过拟合或者欠拟合，决定是否重新训练模型或者选择其他的算法。

• 验证集（开发集)(Dev set)的作用：

  因为训练集和测试集均源自同一分布中，随着时间的流逝，近期样本的分布与训练模型的样本分布会有变化，需要校验训练好的模型在近期样本(验证集)是否有同样的效果，即模型的稳定性、鲁棒性、泛化误差。

• 训练集(Training set)的作用：用于训练有监督模型，拟合模型，调整参数，选择入模变量，以及对算法做出其他抉择。

扩充知识：

• 测试集、验证集、训练集三者之间的区别：

1. 训练集：用于模型拟合的数据样本,即用于训练的样本集合,主要用来训练神经网络中的参数。

2. 验证集：模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。

3. 测试集：用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。