Question

为什么训练集的交叉验证准确率低于测试集的准确率

Answer 1

[size=14.px]做分类预测等数据挖掘任务时，需要测试所建立模型的准确性时，如没有事先划分好的训练集与测试集，常采用的方案有。
[size=14.px] A. 随机划分数据集：将数据集随机划分成训练集和测试集，一般按照3:1的比例划分，其中3/4的数据集用于模型的建立，1/4数据集用于测试所建立模型的性能。最终模型的性能，通过K次随机划分数据集，可以得到K次划分的模型性能的平均值，作为建立模型的性能。
[size=14.px] B. 交叉检验(Cross-Validation)：交叉检验，是按一定的方式将数据集划分成训练集和测试集，每个数据记录既有作为训练集，又有作为测试集。常用的交叉检验有：
[size=14.px] 》Leave One Out Cross-Validation：每次选择一个数据作为测试集，其余的N-1个作为训练集用于测试模型的性能，共执行N次测试，N次测试的结果作为最终模型的性能；
[size=14.px] 》K-Fold Cross-Validation：将数据集划分成K份，每次是其中的k-1份作为训练集建立模型，剩余的1份作为测试集检测模型性能，共执行K次性能测试。常用的是10折交叉检验，或采用随机划分数据集法将数据集划分成K份，此时可采用K-ford M-time Cross-Validation。