多变量线性回归分析中自变量筛选的方法(多元线性回归自变量筛选方法)

多变量线性回归分析中自变量筛选的方法(多元线性回归自变量筛选方法)

首页维修大全综合更新时间:2024-03-06 01:39:19

多变量线性回归分析中自变量筛选的方法

在多变量线性回归分析中,常用的自变量筛选方法包括前向选择、后向消除和逐步回归。

前向选择从空模型开始,逐步添加自变量,选择对模型拟合有显著影响的变量。后向消除从包含所有自变量的完全模型开始,逐步剔除对模型拟合无显著影响的变量。

逐步回归结合了前向选择和后向消除的方法,根据统计指标(如C、BIC)选择最佳模型。这些方法可以帮助筛选出对因变量有显著影响的自变量,提高模型的预测能力和解释力。

多元线性回归中自变量筛选常用的方法有哪些

1.多元线性回归模型

4.2.1

其中X1、X2、……Xm为m个自变量(即影响因素);β0、β1、β2、……βm为m+1个总体回归参数(也称为回归系数);ε为随机误差。

当研究者通过试验获得了(X1,X2,…,Xm,Y)的n组样本值后,运用最小平方法便可求出式4.2.1中各总体回归参数的估计值b0、b1、b2、……bm,于是,多元线性回归模型4.2.1变成了多元线性回归方程式4.2.2。

(4.2.2)

2.回归分析的任务

多元回归分析的任务就是用数理统计方法估计出式4.2.2中各回归参数的值及其标准误差;对各回归参数和整个回归方程作假设检验;对各回归变量(即自变量)的作用大小作出评价;并利用已求得的回归方程对因变量进行预测、对自变量进行控制等等。

3.标准回归系数及其意义

对回归系数作检验可直接用式(4.2.2)中的bi及其标准误差所提供的信息;但要想对各回归系数之间进行比较就不那么方便了,因为各bi的值受各变量单位的影响。为便于比较,需要求出标准化回归系数,消除仅由单位不同所带来的差别。

设∶与一般回归系数bi对应的标准化回归系数为Bi,则

(4.2.3)

式(4.2.3)中的SXi、SY分别为自变量Xi和Y的标准差。

值得注意的是∶一般认为标准化回归系数的绝对值越大,所对应的自变量对因变量的影响也就越大。但是,当自变量彼此相关时,回归系数受模型中其他自变量的影响,若遇到这种情况,解释标准化回归系数时必须采取谨慎的态度。当然,更为妥善的办法是通过回归诊断(The Diagnosis of Regression),了解哪些自变量之间有严重的多重共线性(Multicoll-inearity),从而,舍去其中作用较小的变量,使保留下来的所有自变量之间尽可能互相独立。此时,利用标准化回归系数作出解释,就更为合适了。

4.自变量为定性变量的数量化方法

设某定性变量有k个水平(如ABO血型系统有4个水平),若分别用1、2、…、k代表k个水平的取值,是不够合理的。因为这隐含着承认各等级之间的间隔是相等的,其实质是假定该因素的各水平对因变量的影响作用几乎是相同的。

比较妥当的做法是引入k-1个哑变量(Dummy Variables),每个哑变量取值为0或1。现以ABO血型系统为例,说明产生哑变量的具体方法。

当某人为A型血时,令X1=1、X2=X3=0;当某人为B型血时,令X2=1、X1=X3=0;当某人为AB型血时,令X3=1、X1=X2=0;当某人为O型血时,令X1=X2=X3=0。

这样,当其他自变量取特定值时,X1的回归系数b1度量了E(Y/A型血)-E(Y/O型血)的效应; X2的回归系数b2度量了E(Y/B型血)-E(Y/O型血)的效应; X3的回归系数b3度量了E(Y/AB型血)-E(Y/O型血)的效应。相对于O型血来说,b1、b2、b3之间的差别就较客观地反映了A、B、AB型血之间的差别。

[说明]E(Y/*)代表在“*”所规定的条件下求出因变量Y的期望值(即理论均值)。

5.变量筛选

研究者根据专业知识和经验所选定的全部自变量并非对因变量都是有显著性影响的,故筛选变量是回归分析中不可回避的问题。然而,筛选变量的方法很多,详见本章第3节,这里先介绍最常用的一种变量筛选法──逐步筛选法。

模型中的变量从无到有,根据F统计量按SLENTRY的值(选变量进入方程的显著性水平)决定该变量是否入选;当模型选入变量后,再根据F统计量按SLSTAY的值(将方程中的变量剔除出去的显著性水平)剔除各不显著的变量,依次类推。这样直到没有变量可入选,也没有变量可剔除或入选变量就是刚剔除的变量,则停止逐步筛选过程。在SAS软件中运用此法的关键语句的写法是∶

MODEL Y = 一系列的自变量 / SELECTION=STEPWISE SLE=p1 SLS=p2;

具体应用时,p1、p2应分别取0~1之间的某个数值。

大家还看了
也许喜欢
更多栏目

© 2021 3dmxku.com,All Rights Reserved.