Question

线性回归模型原理

Answer 1

线性回归模型原理如下：

1、基本形式：

线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数。

w和b学得之后，模型就得以确定。w直观表达了各属性在预测中的重要性。

2、线性回归：

提出假设，给定数据集其中：

“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。

线性回归可以被看做是样本点的最佳拟合直线。

这条最佳拟合线也被称为回归线（regression line），回归线与样本点之间的垂直连线即所谓的偏移（offset）或残差（residual）——预测的误差。

在只有一个解释变量的特殊情况下，线性回归也称为简单线性回归（simple linear regression）

当然，我们可以将线性回归模型扩展为多个解释变量。此时，即为所谓的多元线性回归（multiple linear regression）。如下图所示即为二元线性回归，一个回归平面来拟合样本点。

基于最小二乘法构建线性回归模型：

设计代价函数：通过最小二乘法，基于均方误差最小化来求解回归曲线的参数，使得回归曲线到样本点垂直距离（残差或误差）的平方和最小。

代价函数为：

代价函数最小化求解：需要求解代价函数最小时的w和b的值。