Question

推荐系统为什么要分测试集和训练集?

Answer 1

原因是为了防止过度拟合。

你把所有数据都用来训练模型，建立的模型自然是最契合这些数据的，测试表现也好。但是换了其它数据集测试这个模型效果可能就没那么好了。就好像你给班上同学做校服，大家穿着都合适你就觉得按这样做就对了，那给别的班同学穿呢，不合适的概率会高吧。

总而言之训练集和测试集相同的话，模型评估结果可能比实际要好。

训练集在推荐算法中的作用

协同过滤推荐算法中的第一步就是寻找近邻用户，近邻用户的质量和数量都会影响最终的模型性能。而训练集要训练的，其实就是目标用户的近邻用户，也可以说是用户相似矩阵。

举个例子就是，我们以用户张三的16个项目得出的近邻用户，和使用20个项目得出的近邻用户是不同的，而后者往往更加准确。拓展到所有用户，使用80%数据得到的用户相似矩阵，当然不如使用100%数据得到的用户相似矩阵。

但是正如第一节所说的，为了保证测试的准确性，我们必须分出来一些数据作为测试集。