Question

机器学习中训练集、验证集、测试集的定义和作用到底是什么样的？

尤其是 验证集 到底是如何做 “模型选择” 的？

Answer 1

下面是一些定义及作用：
Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier.
训练集是用来学习的样本集，通过匹配一些参数来建立一个分类器
Validation set: A set of examples used to tune the parameters [i.e., architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network.
验证集是用来调整分类器的参数的样本集，比如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数
Test set: A set of examples used only to assess the performance [generalization] of a fully specified classifier.
测试集纯粹是为了测试已经训练好的模型的分类能力的样本集。

一般验证集在交叉验证里应用的比较多：
利用交叉验证方法选择模型思路是：使用训练集(trainset)数据所有候选模型进行参数估计，使用验证集(validationset)为检验样本，然后计算预测均方误差，比较各个模型的预测均方误差，选择预测均方误差最小的拟合模型为选择模型。