回归分析

回归分析是用于确定预测属性与其它变量间相互依赖的定量关系。它是统计学中最常用的方法。回归分析包括线性回归、非线性回归、Logistic 回归、岭回归、主成分回归、偏最小二乘回归等模型。

线性回归

当因变量与自变量是线性关系时，线性回归就是很好的模型。它是对一个或者多个自变量和因变量之间的线性关系进行建模，可以通过最小二乘法来求解模型系数。一个变量即一元线性回归，多个变量即多元线性回归，还有多个因变量与多个自变量的回归。

非线性回归

顾名思义，它是用于因变量与自变量之间不是线性关系的。通过对一个或者多个自变量与因变量之间的非线性关系进行建模。如果通过简单的函数，可以将其转变为线性关系，则可以用线性回归的思想来求解；如果不能，则用非线性最小二乘法进行求解。

Logistic 回归

因变量一般只有 1 和 0 两种取值。这是广义的线性回归模型的特例，利用逻辑函数将因变量的取值范围控制在 0 和 1，则表示取值为 1 的概率。

岭回归

参与建模的自变量之间具有多重共线性，这是一种改进最小二乘估计的方法。

主成分回归

参与建模的自变量之间具有多重共线性。主成分回归是根据主成分分析的思想提出来的，是对最小二乘法的一种改进，它是参数估计的一种有偏估计。它可以消除自变量的多重共线性。