Question

回归方程公式推导过程

Answer 1

回归方程公式推导过程如下：

线性回归方程公式推导过程

假设线性回归方程为： y=ax+b (1)，

a,b为回归系数,要用观测数据(x1,x2,...,xn和y1,y2,...,yn)确定之。

为此构造 Q(a,b)=Σ(i=1->n)[yi-(axi+b)]^2 (2)，

使Q(a,b)取最小值的a,b为所求。

令： ∂Q/∂a= 2Σ(i=1->n)[yi-(axi+b)](-xi)= 0 (3)，

∂Q/∂b= 2Σ(i=1->n)[yi-(axi+b)] = 0 (4)，

根据(3)、(4)解出a ,b就确定了回归方程(1)：

a Σ (Xi)² + b Σ Xi = Σ Xi Yi (5)；

a Σ Xi + b n = Σ Yi (6)

设直线为y=kx+b, 已知的三个点为(xi, yi)， i=1,2,3

F(k, b)=(kx1+b-y1)^2+(kx2+b-y2)^2+(kx3+b-y3)^2需取最小值,求导得：

F'k=2x1(kx1+b-y1)+2x2(kx2+b-y2)+2x3(kx3+b-y3)=0-->

k(x1^2+x2^2+x3^2)+b(x1+x2+x3)=x1y1+x2y2+x3y3

F'b=2(kx1+b-y1)+2(kx2+b-y2)+2(kx3+b-y3)=0--->

k(x1+x2+x3)+3b=y1+y2+y3

记x'=(x1+x2+x3)/3, y'=(y1+y2+y3)/3为平均数

解得：

k=∑(xi-x')(yi-y')/∑(xi-x')^2

b=y'-kx'