Question

回归分析的模型有哪些

Answer 1

问：回归分析的模型有哪些

答：线性回归 线性回归（Linear Regression）是最为人熟知的建模技术，是人们学习如何预测模型时的首选之一。在此技术中，因变量是连续的，自变量可以是连续的也可以是离散的。回归的本质是线性的。线性回归通过使用最佳的拟合直线（又被称为回归线），建立因变量（Y）和一个或多个自变量（X）之间的关系。它的表达式为：Y=a+b*X+e，其中 a 为直线截距，b 为直线斜率，e 为误差项。如果给出了自变量 X，就能通过这个线性回归表达式计算出预测值，即因变量 Y。 2、逻辑回归 逻辑回归（Logistic Regression）用来计算事件成功（Success）或者失败（Failure）的概率。当因变量是二进制（0/1，True/False，Yes/No）时，应该使用逻辑回归。这里，Y 的取值范围为 [0,1]，它可以由下列等式来表示。 3. 多项式回归 多项式回归分析技术（Polynomial Regression）用于表示因变量和自变量之间的非线性关系。它是多元线性回归模型的一种变体，除了最佳拟合线是曲线而不是直线。对应一个回归方程，如果自变量的指数大于 1，则它就是多项式回归方程，如下所示： 4、逐步回归 当我们处理多个独立变量时，就使用逐步回归（Stepwise Regression）。在这种技术中，独立变量的选择是借助于自动过程来完成的，不涉及人工干预。逐步回归的做法是观察统计值，例如 R-square、t-stats、AIC 指标来辨别重要的变量。基于特定标准，通过增加/删除协变量来逐步拟合回归模型。 5、岭回归 岭回归（Ridge Regression）是当数据遭受多重共线性（独立变量高度相关）时使用的一种技术。在多重共线性中，即使最小二乘估计（OLS）是无偏差的，但是方差很大，使得观察值远离真实值。岭回归通过给回归估计中增加额外的偏差度，能够有效减少方差。 6、套索回归 类似于岭回归，套索回归（Lasso Regression）惩罚的是回归系数的绝对值。此外，它能够减少变异性和提高线性回归模型的准确性。套索回归不同于岭回归，惩罚函数它使用的是系数的绝对值之和，而不是平方。这导致惩罚项（或等价于约束估计的绝对值之和），使得一些回归系数估计恰好为零。施加的惩罚越大，估计就越接近零。实现从 n 个变量中进行选择。

答：# 7. 弹性回归 弹性回归（ElasticNet Regression）是岭回归和套索回归的混合技术，它同时使用 L2 和 L1 正则化。当有多个相关的特征时，弹性网络是有用的。套索回归很可能随机选择其中一个，而弹性回归很可能都会选择。 # 8. 分位数回归 分位数回归（Quantile Regression）方法是线性回归技术的子集。当不满足线性回归要求或数据包含异常值时使用它。在统计学和计量经济学中，使用分位数回归。 # 9. 贝叶斯线性回归 贝叶斯线性回归（Bayesian Linear Regression）是机器学习中使用的一种回归分析技术，它使用贝叶斯定理来计算回归系数的值。该技术不是确定最小二乘，而是确定特征的后验分布。因此，该方法在稳定性方面优于普通线性回归。 # 10. 偏最小二乘回归 偏最小二乘回归技术（Partial Least Squares Regression）是一种快速有效的基于协方差的回归分析技术。对于具有许多自变量且变量之间存在高概率多重共线性的回归问题是有利的。该方法"