[模型世界]处理因变量连续的横截面数据:线性回归(2)
这期我们就来讲线性模型的估计和检验大法,一探公式背后的有趣含义~
上期回顾
上期小妹为大家介绍了什么是因变量连续的横截面数据,以及线性回归的建模思路,今天我们就来一睹回归中最有统计味道的部分——估计与检验。
如果大家还有印象的话,我们的线性模型是长这个样子:
确定下模型形式后,接下来的步骤就是要对它的系数进行估计,以及对模型和估计结果进行检验。
1线性回归模型的估计——最小二乘估计
(1) 直观的说说,我们估计是为了干啥?
线性模型估计的目标是 找到这样一个拟合的线(或者多维面),使得它与所有数据点的距离都不要太大,这样我们就认为:它大致表现出了事物之间的关系。
一元回归 二元回归
(2) 具体怎么估计**?——最小二乘法**
最小二乘估计的想法很自然,就是把我们的目标公式化,就是要找这样的beta们,能让模型估计出的所有y都跟真实测量的y 距离不要太大。那怎么表达这个距离呢?也许最直观的就是取每个真实值与估计值的差的绝对值再加和,但这样在数学上计算比较麻烦,综合考虑之下,统计学家提出了“残差平方和”的概念,就是把所有真实值与估计值之差的平方加起来,然后令其最小,求出各系数的估计值。
学过线性代数的童鞋看到这里会不会会心一笑,求最小值嘛?就直接求导等于0就好啦!稍微严谨一点的童鞋会说,不不不,那只是局部最小值,要全局最小值你得保证这个函数是凸的,还是下凸的!
正确!可爱的“残差平方和”还真就全都满足呢!看下图(以单变量线性回归为例):左图是RSS在不同参数组合下的等高线图,右图是其立体图形展示。
所以大家可以看到,我们所求的那个RSS的最低点,还正是对所有系数求偏导为0的地方呐!
这样,大家就理解软件里一下子蹦出来的参数估计结果是怎么来的了吧?数学功底好的童鞋可马上拿出纸和笔导起来,看看软件估计的准不准!
以上就是统计课本上常出现的理解方法,然而,小妹曾经在听斯坦福大学的 Gilbert Strang 教授的线性代数课上,意外捕获到一种从线性代数的观点理解“最小二乘法”的角度,很大开眼界,现在小妹就把思路简单分享给大家。
可爱的Gilbert Strang教授
首先问大家一个问题:如果平面上只有两个点,你会不会用最小二乘法拟合?不会呀,因为就可以直接找到一条直线完全穿过它们,根本不用什么“使误差最小”;那平面上若出现三个点呢?除非这三个点偏偏就在一条线上,其他时候,你就很难找到一条可以穿过所有点的直线了吧~
上面的几何问题用线性代数的语言该怎么描述?你找不到一条直线穿过三个点,就是说如果你设一条直线方程 y=ax+b,代入这三个点后方程组无解,对不对?在 Gilbert Strang 的线性代数课上,方程组有解的条件是:y向量必须在x系数矩阵的列空间里,如果无解,就说明y向量并没有落到系数矩阵的列空间里。
那还想尽量解,怎么办呢?
想法很自然:既然y向量本身不在列空间里,那我能不能在列空间里找一条与y向量最近的向量 来求一个最佳的近似解呢?对,这就是近似思路的核心。那怎么来找这条与y向量最近的向量呢?那就是把y投影在系数的列空间里,此时投影就与y向量距离最小。设投影向量为yhat,那么此时y与yhat的差向量e就与列空间垂直,利用这个关系,我们就可以解出beta值啦。
大家看出来了吗? 其实y在列空间里的投影就是我们对y的估计值,想想为什么?
小妹解围
对列空间这种表述不太适应的同学,可参考这个网站http://www.wtoutiao.com/p/168zH7W.html 的整理,也可直接上 网易公开课找麻省理工大学的《线性代数》第16集听详细的讲解。
(3) 系数估计出来了,它代表什么含义呐?
在多元线性回归中,某变量前回归系数的解释是:在模型中其它变量固定的情况下,该变量变动一个单位,会让因变量y的平均水平变动几个单位。
大家可以仔细体会下这句话,最有意思的是这个:**在其它变量固定的情况下。**那么反过来说,如果模型不包含其它变量,那系数的含义就是:没把其它变量固定下来时此变量与y的关系,那浑水摸鱼好玩的故事可多了,可以参看《Introduction to statistical learning》书上3.2.1节告诉你,如果不控制温度这个变量,你就很可能以为:在海滩上禁止卖冰激凌人们就会少受到鲨鱼的攻击啦!
2系数与模型检验
估计出了系数,是不是很多童鞋就欢呼雀跃,耶,我看出来小花和小明之间的关系啦!小明昨天竟然给小花带饭了,我一回归就看出,他们有关系噢!吼吼吼!
且慢且慢,光回归出来还不够,统计学书上告诉你,你要冷静下来,先检验检验这系数显不显著,这模型靠不靠谱,然后才可能得到一个不被人喷的结论!
下面我们仍然分三个小模块讲讲检验
(1) 估计出来为什么要有检验?
a . 首先要理解估计系数的随机性
很多刚学完“总体均值检验”的童鞋,初学回归时会被这样一个问题困扰:统计学上的检验,都是针对一个分布而言的。回归就有一个参数的估计系数,哪里来的分布来检验它?
直观的想想看,我们用一个数据集会估计出一组参数,另一个数据集来了,我们是不是就会给这组参数另一个估计值,所以其实 我们估计的回归参数是有随机性的。而由于我们对模型的误差做了“正态性假设”,再通过一系列的联系就可以导出,这些回归参数也是服从“正态分布”的。
数据不同,估计出的系数就不同
b . 那我们检验的目标什么呢?
在回归中我们想检验的事情有两件: 一是检验我拟合的这个模型 整体是不是显著的?也就是说:有没有可能我回归了半天,真实的回归系数值都是0!二是检验 模型中的每个变量,系数是不是显著不为0。
说来说去就是想回答一个问题:我用某一个数据集估计出的系数beta们, 它们看起来并不为0,但这是偶然造成的呢?还是世界的真相呢?
(2)模型检验-F检验
要想检验模型整体的显著性,我们常规采用的是F检验 。该检验的原假设和被择假设如下:
小妹提醒
一个检验首先要搞清楚的就是它的原假设和备择假设哟~因为现在软件都可以自动给出检验结果,但有时候有些童鞋还不知道一个检验的原假设和被择假设是个啥,结果显示拒绝了,还不知道拒绝了谁呢!
如果只想了解一下F检验是做啥的,读到这里就可以回去好好看软件结果了。在SPSS里,F检验的结果在Anova表里,在R里,summary回归模型后,最后一行就有F-statistic 以及p-value,。对!直接看p-value<0.05 就可以拒绝原假设,然后大胆的说“ 统计结果表明,本模型在5%的水平上显著”就阔以啦~
如果还想细细的了解下F检验是咋做的,小妹愿意再多唠叨几句,带大家感受一下统计学家们的智慧~下面就是是构造F统计量的核心公式:
大家先想想这些式子到底什么含义?
首先,TSS是什么?就是因变量Y自身变差的总平方和,它可以理解为:我们在没有进行回归预测时 因变量的固有变异性。RSS又是什么?对,你还记得,是那个残差平方和(我们最小二乘法优化的目标),它可以理解为:在我们执行了线性回归后,还剩下的Y的变异。它们相减又代表什么?没错,就是回归模型能够帮我们减少的Y的变异量。
所以呢,大家就可以大致理解F统计量的构造思路:分子是模型回归可以解释的Y的变异程度,分母是回归以后还没有被解释的Y的变异程度,所以呢,当模型可以解释的变异相对于剩下的变异来说 越大时,F统计量的值越大,当他大到超过一定界限时,(这个界限就是根据F分布及犯错概率计算出的临界值 t),我们就有理由想,这个模型能够解释“很大”一部分y的信息,那真实的系数估计值“应该”不会全为0 了,即使我们错了,错误的概率也是很小很小的了。(大家可以暂时忽略公式中的样本量n和变量个数p,那是在用自由度调整分子分母呢)
这也就是统计学的独特性之一:它能给你一个估计,还能告诉你自己犯错的概率有多大~
(3)系数检验-t检验
第二个值得大家关注的就是单个系数的 t 检验了,t 检验的目标是:检验具体某个变量的系数是不是显著不为0,同样它的原假设和被择假设分别是:
SPSS软件中,[系数]这个表里就既包含了每个参数的估计系数,也同时包含着每个系数检验的 t 值和 p 值(用Sig. 表示,全称是 Significance); 在R软件里,summary回归模型后也直接有系数估计值,检验t值(t-value)和 p值 (Pr(>|t|) 。只要p<0.05 的都是显著的变量。
具体t检验的原理,这里小妹以一元线性回归为例给大家说明,多元线性回归的检验思想类似。这里的核心公式如下:(其中 sigma为因变量y的标准差)
同样,我们还是会按照犯错概率(一般是0.05)和t分布所计算的临界值,当由样本计算的t 值大于临界值,那我们就可以认为这个变量真实的系数不为0,犯错的概率不超过5%
小妹捣乱
明白了嘛?不明白就不要看这句话了:当由样本计算的 t 值大于上面算出的临界值时,用这个 t 所计算的p值就会<0.05, 同样要做出“拒绝原假设”的决定了。
下期预告
建好了模,也过了两道安检,模型就没问题了嘛?下期讲模型评价和诊断,看看你的模型在通往真理的路上还可能被什么绊倒?
< 鸡汤时间 >