Question

模型评估——评估指标的局限性

Answer 1

在模型评估过程中，往往对于不同的模型，需要不同的指标进行评估，在众多评估指标中，大部分指标只能反映模型的部分性能，如果不能合理的利用指标进行评估，往往达不到好的效果，甚至还能起到副作用。

1 准确率(Accuracy) : 分类正确的样本占总样本个数的比例。

当不同的类别的样本比例非常不均衡时，将准确率作为分类性能的指标非常的局限，可以使用更加有效的平均准确率

2 精确率(Precision)：分类正确的正样本个数占分类器判定为正样本个数的比例。

3 召回率(Recall)： 分类正确的正样本个数占真正的正样本个数的比例。

4 Precision 和 Recall 是即矛盾又统一的两个指标。通常要绘制P-R曲线，单个点对应的精确率和召回率并不能全面的衡量模型的性能，画曲线能对模型进行更为全面的评估

5 F1值和ROC曲线也能综合反映一个排序模型性能。ROC曲线后面一节再说，F1值是精确率和召回率的调和均值。

6 均方根误差，通常用来衡量回归模型的好坏，但是如果存在个别偏离程度大的离群点，即使离群点非常少，也会让rmse 指标变得很差。