回归分析中,如果有两个或两个以上的自变量,就称为多元回归。事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自变量进行预测或估计更有效,更符合实际。因此多元线性回归比一元线性回归的实用意义更大。
1、普通最小二乘法(Ordinary Least Square, OLS)
普通最小二乘法通过最小化误差的平方和寻找最佳函数。
多元线性回归
通过矩阵运算求解系数矩阵
2、广义最小二乘法(Generalized Least Square)
广义最小二乘法是普通最小二乘法的拓展,它允许在误差项存在异方差或自相关,或二者皆有时获得有效的系数估计值。
多元线性回归
其中,Ω是残差项的协方差矩阵。