Question

一元线性回归模型 计量一元线性回归模型参数估计

Answer 1

1一元线性回归模型的参数估计

1、普通最小二乘估计（OLS ）

对于所研究的经济问题，通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。

假如给出了样本观测值（X i ，Y i ）, i=1, 2, …, n （是样本容量）。 ˆ+βˆ X i +u ˆi （也可以记为e i ） 则样本回归模型（估计的模型）Y i =β01

ˆ和βˆ分别是 β0 和β1的估计值或估计量，u ˆi （或e i ）是的u i 估计值，称为残差β01

（residual ）项，也称为拟合误差。

ˆ=βˆ+βˆ X i ，称为样本回归方程或样本回归线。用来估计样本回归模型的直线写为 Y 01i ˆ称Y i 的拟合值（fitted value） 其中Y i

如何估计？

（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。

（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。 （3）最小二乘法的原则是以“残差平方和（residual sum of square, RSS）最小”确定直线位置。

用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。（这种方法对异常值非常敏感）设残差平方和ESS 用Q 表示，

ˆ) 2= ˆi = ∑(Y i -Y Q = ∑u i

2i =1

i =1

T T

∑(Y -βˆ

i

i =1

n

ˆX ) 2， -β1i

ˆ和βˆ的估计值。以βˆ和βˆ为变量，把Q 看作是βˆ则通过Q 最小确定这条直线，即确定β01010ˆ的函数，ˆ和βˆ的偏导数并令其为零，和β这是一个求极值的问题。求Q 对β得正规方程组， 101

∂Q = 2

∂β

∑(Y -βˆ

i

i =1n

n

ˆX ) (-1) = 0 (1) -β1i ˆX ) (- X i ) = 0 (2) -β1i

∂Q

= 2

∂β

1

∑(Y -βˆ

i

i =1

ˆ=-βˆ ⎧β01⎪ ⎨(X i -)(Y i -) ˆ⎪ β1 =2

(X -) i ⎩

x i y i ˆˆˆi =Y i -Y ， x i =X i -X 。利用离差的定义有：β1 =离差：y 2

x i

_

_

上例中假设我们不知道总体数据，但是我们通过抽样得到两个样本

：

样本一 样本二

ˆ是谁的估计量？ 思考：Y i

2、几个常用的结果

ˆi = 0 （1） 残差和等于零（即残差的均值为零），∑u

ˆ=βˆ+βˆ X i 过（X , Y ）点。 （2） 估计的回归直线Y 01i

（3） Y i 的拟合值的平均数等于其样本观测值的平均数。

--

ˆi , X i ) = 0 （4） Cov(u

ˆ) = 0成立吗？ ˆi , Y 思考：Cov(u i

3、截距为零的一元线性回归模型的参数估计

形式：Y i = β1 X i + u i （i=1, 2, …, n ）

ˆi = 0成立吗？ 思考：此情形下有∑u

最小二乘估计量的统计性质

ˆ和βˆ分别是Y i 的线性函数。 （1）线性特性(Linear)：β01

ˆ和βˆ的均值或期望值等于总体的真实值β0 、β1。 （2）无偏性(Unbiased)：β01

（3）有效性(Efficiency)（也即最小方差性）：在所有用计量经济学方法得到的线性无偏估计量中，β0, β1的OLS 估计量的方差最小。