普通最小二乘法推导过程

 我来答
何三岁HYT
2022-10-16 · TA获得超过121个赞
知道小有建树答主
回答量:561
采纳率:100%
帮助的人:9.5万
展开全部

普通最小二乘法(ordinary least squares, OLS)是线性回归预测问题中一个很重要的概念,在 Introductory Econometrics A Modern Approach (Fourth Edition) 第2章 简单回归模型 中,花了很详细的篇幅对此作出介绍。应聘数据挖掘岗位,就有考到对普通最小二乘法的推导证明。最小二乘法十分有用,例如可以用来做推荐系统、资金流动预测等。

【推导】

首先假设拟合一条经过原点的直线,则有 y=βx ,要使模型最优则要使残差最小即∑i=1n(yi−βxi)2最小,则有

∑i=1n(yi−βxi)2=∑i=1n(yi−β^xi+β^xi−βxi)2=∑i=1n(yi−β^xi)2+2∑i=1n(yi−β^xi)(β^xi−βxi)+∑i=1n(β^xi−βxi)2≥∑i=1n(yi−β^xi)2+2∑i=1n(yi−β^xi)(β^xi−βxi)

当 2∑i=1n(yi−β^xi)(β^xi−βxi)=0 时 ∑i=1n(yi−βxi)2 最小,故

2∑i=1n(yi−β^xi)(β^xi−βxi)=02∑i=1n(yi−β^xi)xi(β^−β)=0∑i=1n(yi−β^xi)xi=0(1)β^=∑i=1nyixi∑i=1nxi2

接下来计算 y=β0+β1x 中的 β0 以及 β1

∑i=1n(yi−β0−β1xi)2=∑i=1n(yi∗−β0)2yi∗=yi−β1xi

我们知道要使 ∑i=1n(yi∗−β0)2 最小,则要使 β0=yi∗¯ (证明见附录),故

(2)β0=∑i=1nyi∗n=∑i=1n(yi−β1xi)n=y¯−β1x¯

接着计算 β1

∑i=1n(yi−β0−β1xi)2=∑i=1n(yi−y¯+β1x¯−β1xi)2=∑i=1n((yi−y¯)−β1(xi−x¯))2=∑i=1n(y~−β1x~))2

其中y~=(yiy);x~=(xix),根据式(1)可知要使该式最小则

β1=∑i=1nyi~xi~∑i=1nxi2~=∑i=1n(yi−y¯)(xi−x¯)∑i=1n(xi−x¯)2=∑i=1n(yi−y¯)(xi−x¯)/(n−1)∑i=1n(xi−x¯)2/(n−1)=Cov(y,x)Var(x)(3)=Cor(y,x)Sd(y)Sd(x)

根据式(2)(3)可知:

β0=y¯−β1x¯β1=Cor(y,x)Sd(y)Sd(x)

推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式