Question

统计上的显著性和实际上的显著性的有什么区别?

Answer 1

统计上的显著性和实际上的显著性是两个完全不同的东西，可以是完全相反的。统计上的显著性通常用p来衡量，而实际上的显著性含义不是很清楚，统计上的效应量可以在一定程度上衡量实际上的显著性。

p的含义是在零假设H0成立的条件下，得到比实际测量所得的数据更加极端的数据的概率，也就是p。上面加粗的这句话决不可漏掉，p值是在零假设成立的前提假设下的条件概率，不是在得到实验数据后零假设成立的概率p。

p值是条件概率这一点经常被人忽略，从而导致很多对统计的误用和误解，即使是专业的研究者也有很多没有意识到p的本质，国内外皆然。当p达到一定的阈限的时候，比如常见的p < 0.05，我们就会说实验结果是显著的。这就是统计上的显著性。

如果我们要检验假设“北京的雾霾比上海的雾霾严重”，那么我们会收集北京和上海在同一个时间段内的有对比意义的区域的雾霾严重程度。

简便起见，就以PM2.5的量为衡量雾霾的指标，那么我们收集的就是北京和上海的空气中PM2.5的含量，假设结果显示北京和上海的PM2.5相差200微克每立方米。