[模型世界]处理因变量连续的横截面数据:线性回归(3)
模型评价、模型诊断,这里为你解开 “模型诊断图 ”的那些秘密~
上期回顾
上期小妹为大家介绍了线性回归模型的估计与检验,这期咱们就来继续聊聊怎么评价模型的准确性,以及如何做模型诊断。
一、模型评价
小弟
上期我们讲过了t检验和F检验,这个模型评价又在讲什么呢?
经过t检验和F检验,我们初步解决了第一个问题:在一定的模型假设下,我们所选的变量是不是对因变量有显著的解释力。那么回答了“是否”的问题,我们接下来就要问:它到底有多大的解释能力呢?换句话说,我们能不能量化模型拟合数据的程度?这就是我们模型评价要回答的问题
小妹
想要量化模型拟合数据的程度?有两大利器可以助你一臂之力:其一叫“残差标准****误”(RSE),其二叫“R2统计量”。
1、残差标准误--度量真实值与预测值的平均偏离距离
想必大家还记得线性模型的形式吧
这个模型告诉我们:除了X可以解释Y,后面还跟着一个不起眼的误差项,这个误差项的存在直接决定了:即使我们正确的估计出了所有X的真实系数,我们仍然不能完全准确的预测Y,因为还有一个不可控的误差存在。
那我们自然就想问,这个误差到底有多大呢,它是足够小可以忽略,还是特别大已经成为决定Y的主流了?残差标准误(RSE)就是为了度量真实值与预测值的平均偏离距离的。
它的具体定义式如下:
根据定义式就可以看出,它为我们提供了一个与y单位一致的偏差大小的估计量,尽管如此,由于它是一个绝对数值,没有对比 我们很难确定它到底是大还是小,因此如果用它来评判模型的准确度,可选“因变量的均值”做为一个参考标准,二者相除便可以看出平均来讲,偏离量占因变量多大的比例;
2、R2统计量--度量数据与模型的拟合程度
另外一个比例形式更明确的就是R2统计量了,它的定义如下:
根据我们之前讨论过的TSS和RSS定义,大家可以大致猜出R2的含义嘛?对,它表示的是在 Y的全部变异中,有多大比例可以由x解释。R2是一个0-1之间的数字,值越大表示回归模型可以解释的变异越多。
小妹提醒
R2虽然是一个判断模型拟合程度的重要参考,但并不能绝对的说它越大模型就越好,两种情况可能影响它的说服力:
1、当变量个数变多时,R2一定会跟着变大,这时候我们就要谨慎使用R2,可参考的另外一个数值是“调整R2”(adjust R2),它在一定程度上可过滤掉变量个数的影响;
2、过少的样本量也会影响R2的可信程度。当样本量很小时,也许高达90%的R2都不能证明模型有多好;而当样本量很大时,也许60%的R2就说明这是一个很有预测力的模型。最极端的例子是一个自变量两个样本点情形下,拟合模型的R2一定为1,这当然不能代表真实情况,因此当样本量过小时,就一定要采用“怀疑”的态度汲取R2给我们带来的信息。
二、模型诊断
小弟
检验、评价,这会儿又来了个诊断,这些反反复复对模型开的刀,到底都对我们辛苦建立出来的模型做了什么?
没错,这些就是统计最有意思的地方,我们不满足为数据拟合一条线,而是还要反反复复验证,这个模型与真实情况多符合。“tF检验”要做的是:验证在一定模型假设下,回归估计出的系数们是否具有统计上的显著性;“R2、RSE”评价则是在判断这个模型与数据有多符合(可见它是脱离开模型假设的);而我们即将要讲的“诊断”可以算是一种“检验的检验”,用来判断前面那些tF 检验们的逻辑起点,也就是模型的诸多假设,都是真的嘛?
小妹
实操过程中,“模型诊断”部分通常会画一些图,算一些数来进行。下面就介绍小妹常用的“四幅图”、“一个数”。
1、四幅图
这四幅图统一可由 plot(linear_model) 产生,下面我们分别来看它能够帮我们识别哪些问题?
1
残差图
此图以拟合值为横轴,每个拟合值对应的残差为纵轴画出来的。最理想的情况是,它的点散乱的分布在0上下,没有固定趋势,这就是我们想要的“白噪声”误差。但是当数据存在问题时,残差图会出现什么模式呢?下面图来自《ISL》,大家来仔细体会一下;
1、当误差项可能存在异方差时,你的图可能长成这样;
此图表现出明显的现象是:拟合的值越大,残差的方差越大,这就是异方差的一种表现。
异方差问题有很多解决办法:对因变量取对数或者开平方 通常就能把问题缓解;另外一种专业的处理方法叫“加权最小二乘拟合法“,具体原理大家可以查阅相关书籍,但其基本想法就是:为不同的观测数据赋予不同权重来估计模型,而赋权的依据就是y值的方差。
2、当数据存在非线性关系时,你的残差图可能长成这样;
大家看这类图,在某个区间残差都大于0,某个区间残差又都低于0,存在很明显的固定趋势,这时候就可以考虑为模型加入高次项或者非线性项来捕捉这种变化;
2
残差正态性检验图
这个图主要用来检验模型“误差服从正态性分布” 这个假设,运用的就是最常用的qq图,当点大致分布在同一条直线点时候即表明误差是服从正态性分布的。
3
离群点检测图
首先,我们把“远离模型预测值的点”定义为离群点(outlier),比如下图中的20号点。
前面我们说到,“残差图” 可以显示每个预测值的残差大小,那它应该就可以把离群点分离开,为什么不能单用残差图来识别呢?这里涉及的还是那个问题:残差要达到多大值才能算作离群点呢?
通常在统计上,我们说一个变量的数值在其三倍标准差以外,我们就可以近似认为它为离群点,因此我们可以考虑对残差做标准化处理,得到"标准化残差“值(standardized residuals), 这样当某个点预测的标准化残差值在+-3以外时,我们就可以把它列为离群点的嫌疑人,重点考察一下这个数据点了。
4
高杠杆值,强影响点检测图
最后一幅图,小妹觉得是最有意思的图,它可以用来监测“哪些点会对模型的估计结果有强影响力”。
这幅图包含了三个统计量值:横轴-leverage(杠杆值),纵轴-standardized residuals (标准化残差值),虚线-cook's distance (cook 距离)。其中,标准化残差值前面已经介绍过,它着重识别的是y取值不合群导致残差特别大的点;杠杆值则是用来识别 那些x取值不合群的点,它常常能显著影响拟合的回归线。比如下图的1号点,去掉该点,拟合直线为紫色线,包含该点,拟合直线为红色线;对比便可以直观看到此点对模型系数估计的影响力。
而cook距离又是什么呢?它可以衡量,包含与不包含某个观测点所引起的系数估计的差异。如果一个观测点的出出入入能使模型的参数估计发生很大变动,它就被称为“强影响点”,它会造成我们的模型估计结果很不稳定,是需要重点关注处理的“罪魁祸首”。
cook距离的具体定义与杠杆值,标准化残差值都有联系,基本上后两项指标双高的点最容易成为“强影响点”,也就是图中右上角和右下角的点,这也是为什么在检测图中,只在右上角(或者右下角)标出了cook距离的具体数值。
小妹解围
想进一步了解cook距离定义的数学形式?以及它与杠杆值,标准化残差值之间的联系?这个网站值得参考:
http://www.zhihu.com/question/36224636/answer/66618532
2 、一个数——VIF
用图检验过了误差假设,检验过了数据质量,还有什么问题可能大幅影响建模效果呢?那就是自变量的共线性问题。
虽然之前在建模阶段,我们并不需要挑选完全独立的变量进入模型,但我们要防止的一种情况是:两个或多个预测变量高度相关,甚至一个变量可以由其他的预测变量线性表达,这会让建模结果更容易失真。
它带来的最直接的问题是:我们再也不能固定下其他变量,单独考虑一个变量对因变量的影响了,因为这个变量变化几乎就会同时带动高度相关的变量变动,这样就会使得模型的估计系数更不精确,也极不稳定。
识别共线性的方法是对每个估计系数计算一个方差膨胀因子VIF,如果该值为1,代表完全不存在共线性,如果该值超过5或者10,经验标明,该数据很可能就存在了共线性问题。VIF的定义如下:
这个R2越接近1,VIF值就越大,说明其它变量对该变量的解释能力越强,也就是共线性现象越严重。
共线性问题的解决方法很多,可以简单粗暴地剔除一些变量,也可以利用主成分分析等降维方法将多个变量合成一个综合变量等,根据实际情况灵活选择。
下期预告
经过三期,小妹为大家简单介绍完了线性回归的基本理论知识,下期小妹会通过一个小案例总体回顾一下完整的建模分析流程,还会推荐一些有用的参考资料,再助大家一臂之力!
< 鸡汤时间 >