Question

回归方程怎么求残差

Answer 1

回归方程求残差方法：在回归分析中，测定值与按回归方程预测的值之差（简单的说，残差也就是指实际观察值与回归估计值的差），以δ表示。残差δ遵从正态分布N（0，σ2）。（δ-残差的均值）/残差的标准差，称为标准化残差，以δ*表示。δ*遵从标准正态分布N（0，1）。

实验点的标准化残差落在（-2，2）区间以外的概率≤0、05。若某一实验点的标准化残差落在（-2，2）区间以外，可在95%置信度将其判为异常实验点，不参与回归线拟合。所谓残差是指实际观察值与回归估计值的差。显然，有多少对数据，就有多少个残差。残差分析就是通过残差所提供的信息，分析出数据的可靠性、周期性或其它干扰。回归方程是根据样本资料通过回归分析所得到的反映一个变量（因变量）对另一个或一组变量（自变量）的回归关系的数学表达式。回归直线方程用得比较多，可以用最小二乘法求回归直线方程中的a，b，从而得到回归直线方程。

线性回归模型广泛应用于经济和金融的量化分析中。本文主要基于Coursera平台Data Science专题的线性回归模型课程的材料，加上本人的的学习和实践心得，对残差异方差性的各种情况和处理方法进行讨论。

线性回归方程的通式如下：


其中Y为因变量，X为自变量，为自变量的系数，为截距，为残差项。

在建模过程中，我们得到一系列数据点的X和Y值，对参数及进行估计。当应用线性回归对数据进行建模的时候，我们实际上假设了因变量Y的取值由线性部分(  + )和随机部分（服从正态分布的）决定。对于残差项的分析，是分析模型合理性的重要指标。在线性回归模型中，残差应满足白噪声假设（White Noise Condition）:

（1） 残差独立同分布（independent and identical distribution，iid），且无自相关性；

（2） 残差和自变量X不相关;

（3） 残差的均值为0，方差为常数。

在统计学中，白噪声随机序列是指一组无自相关性，且有相同分布的随机序列。理论上，白噪声假设不要求随机变量服从正态分布，而可以是任意分布。但基于中心极限定理，假设残差服从正态分布是一个合理的近似。

基于以上白噪声假设的第3条，当残差方差为常数时，我们称残差具有同方差性（homoscedasticity）；当残差方差不是常数时，称残差具有异方差性（heteroscedasticity）。

异方差性的存在意味着违反了线性回归模型的白噪声假设。因此，对于异方差性的分析有助于我们理解数据的问题或特征，而对于异方差性的修正则有助于提高模型参数估计的准确度。

2. 数据可视化，离群值和残差异方差性的判断
在进行线性回归建模前，一般要先通过散点图来观察数据的基本特征。著名的安斯库姆四重奏（Anscombe's quartet）展示了在线性回归模型中具有相同的统计特征，但数据分布明显不同的四个例子，用于说明线性回归建模前进行数据可视化分析的重要性：


一般在进行可视化分析的时候，我们除了关注数据是否存在明显的线性相关特征外，还需要观察离群值的数量。离群值和残差异方差性是紧密相关的概念。通常，如果一个数据点为离群值，同时也意味着它对应的残差具有较大的方差，因此数据中的离群值数量较多的话，残差一般也会出现明显的异方差性。
关于线性回归的离群值的判断，有两个要点：

数据中存在少量的离群值是合理的。例如，当我们产生1000个服从标准正态分布的随机数，以距离均值大于两个标准差作为离群值判断标准，因为数据落在两个标准差之外的概率约为4.5%，意味这1000个抽样中大约会有45个离群值。此时如果我们去除这45个离群值来估计分布的方差，将会得到小于1的结论。因此，在删去离群值前应慎重考虑，除了因为存在少量离群值是合理的以外，离群值可能包含抽样或者数据的特征或者存在的问题。因此，如果数据中存在相当数量的离群值，应分析其成因，而非简单将其删去。

线性回归离群值（regression outlier）是指对线性回归模型参数估计有强影响力的离群值（influential outlier）。只有当一个离群值具有高杠杆值（high leverage）且有明显的偏差（significant discrepancy）时，它才有可能是具有强影响力的。对于一元回归而言，只有当数据点出现在图的右下方时，它才有可能是有强影响力的。

对于多元回归模型，不能通过简单可视化来判断离群值的数量。可以通过cook’s distance或者已添加变量图（added variable plot）来进行判断。