[模型世界]处理因变量连续的横截面数据:线性回归(5)
今天聊聊:如何用模型讲一个好故事~
前言
前几节,小妹为大家简单介绍了经典线性回归的方方面面,从模型到估计,从检验到诊断,可以说现在大家就可以拿上一个数据练练手啦!本来这里准备给大家提供一个案例完整呈现分析的过程,但小妹在制作过程中发现:有很多很优秀的书籍做过这件事,而且限于学识和篇幅,小妹很难比他们解析的更详细更有趣,索性今天这节,小妹给大家推荐这些大家们,同时写写在小妹眼中:如何用模型讲一个好故事。
一基础版:如何做常规的线性模型报告?
准备好数据框,在R中,输入命令 lm(y~x,data) 即可完成建模,summary可提取出系数估计、系数检验,模型检验以及R2等结果;在SPSS中,点击[分析]——[回归]——[线性],然后点选要进入模型的变量和需要的统计量即可。接着,做模型诊断,筛选变量,如果诊断出问题,做模型调整,重复以上步骤,最后下结论。以下两本秘籍有你想要的完整分析过程。
小妹书房
1.《An Introduction to Statistical Learning》其中译版为《统计学习导论-基于R语言应用》。该书出自统计学习大师Robert Tibshirani、Trevor Hastie 等人之手,里面有通俗易懂的模型讲解和案例说明,网上还有作者视频讲解资源,是一本统计学习领域入门的经典之作。
2. 《商务数据分析与应用》是一本由北京大学王汉生教授撰写的着眼于商务应用的书籍,内含很多有鲜活商业背景的案例分析,从数据讲解到完整报告呈现,步骤详实,深入浅出,更把作者多年来的教学经验凝结其中,非常有参考价值。
二娱乐版:如何用模型讲一个好故事?
显然,简单地把回归结果摆在报告里,解释谁显著谁不显著并不是一个好故事,它既让外行的人觉得高冷,又让内行人觉得枯燥。想让人眼前一亮?除非,你对它的解释更明确、更深入、更有意思。
那么怎么使我们做的每一个模型都掷地有声,而不是千篇一律、换汤不换药地过一遍模型,小妹有以下几点总结:
1、问题明确化--练得一对火眼金睛
学模型,你要学的是: 这个模型能回答什么问题
做模型,你要问的是: 这里想要解决什么问题?只有两方面都想通,我们才能在问题面前选择合适的工具。
那么线性模型能帮我们解决什么问题呢?有以下两个大方面:(1)相关。它能帮你解读你所关心的变量之间的关系;(2)预测。它还能帮你在给定一些自变量时,预测因变量的值,还能给你预测的精度;
第二个目标比较简单,下面详细分解一下第一个层面:相关。在这个相关层面,我们能解读什么信息呢?
一读是否相关,看谁是那只看不见的手——也就是看哪些变量对因变量影响显著;
二读相关方向,看谁是敌人谁是朋友;也就是看变量回归系数符号是正还是负;
三读相关强度,看谁是主流;也就是看回归系数大小,解读谁对因变量影响最大。
关于这一点,“狗熊会”公众号中有篇名为《回归XY|回归分析是什么》的文章,有对此更有趣更贴合实际的解读,感兴趣的同学可以移步那里品读,进一步加深印象。
以上三点为基础信息,除此之外,我们还可读相关形式——看XY的关系是线性还是非线性;读协同效应——看一个变量影响y的程度是否还与其他因素有关等等,这都是我们可以做文章的地方。
一家之言
结合之前我们讲过的“线性的含义”,大家可以继续脑补当我们看XY的关系是线性还是非线性时,我们其实是在看什么?对,我们在看随着X的改变,它影响Y的方向和程度有没有跟着变化。比如,如果Y和X有二次曲线关系,那么当X增大,Y增大还是减小可就不一定啦,这就叫“随着X变化,X影响Y的方向中途有变”。
2、角度多样化——耍得一身七十二变
除了以上的基础解读,还有很多让变量模型出点小意外的妙招。人说行文要跌宕起伏,建模型讲故事也一样,要学会给它加各种小料,说不定就有意外发现。以下是三叠备选小料:
A 主角改良:离散化
所谓离散化就是把连续数据切分成若干段,探索这若干个离散取值与因变量的关系。比如本来数据取值范围是[0,100],将其等距离散化为4个区间,即分数在[0,25]取值为1,[25,50]取值为2,以此类推,然后用取值为1,2,3,4的新变量来参与建模,这就是一种离散化做法。
有同学可能要问,好好的连续数据干嘛要把它离散化呢?离散化的好处很多,比如它更能防止异常值对建模结果的影响,稳定性更好;更能描述因变量与自变量之间的非线性关系,适应性更好,而且通常,解释性会增强。小妹对其印象最深的一点是在有些分析中,本来连续自变量跟因变量的关系不显著,散点图密密麻麻没有头绪,巧妙的对其离散化,再配上分组箱线图,有些关系瞬间就明朗了起来,多给力!大家可以在自己的数据分析过程中多加实验,体会。
B 关系拓展:交叉化
巧妙在模型中加入变量之间的交互项常常也能衍生出有趣的故事,它给大家传递的信息是:一个变量对因变量的作用还受到另外一个变量的影响,这个观点在咱们之前几期推文中也有介绍。这里为给还不熟悉的童鞋一个直观感受,我们从《线性回归分析基础》书中截取一个小案例为大家讲解。以下是估计出的回归模型。
其中:X代表被调查人群现在的家庭规模,Y代表理想的家庭规模,而Z代表该家庭的收入。如果没有最后的交叉项,我们很容易解释模型含义:当现在的家庭规模增加一个单位,理想的家庭规模增加0.8个单位,收入增加一个单位,理想的家庭规模大约增加0.1个单位。可是当有了交互项,就要这么解释:当收入Z每增加一个单位,X对Y的影响就要增加0.0149个单位。为了方便大家理解,书中把收入分为等级画出了示意图。
大家可以看到:当收入水平不同时,回归直线的截距和斜率都有变化,这就是所谓的 “X对Y的影响力与Z的取值有关”。
C 脑洞大开:变出新花样
有时候对模型效果有关键影响力的,不一定是多么高端花哨的模型形式,而是有没有包含对Y真正有影响力的自变量。很多数据行业的从业者在分享经验时说:他们在实际工作中的很多时间都在做“特征工程”,甚至,挑的一手好特征是每个模型师们梦寐以求的技能。所以,如果能充分大开你的脑洞,调用你对建模场景的理解,洞察提炼出真正有指示性、有辨识度的变量,那一定是个有趣故事的开端。
高辨识度的特征
那么有哪些可以参考的脑洞开放方向呢?小妹总结过三个方面:
(1)借鉴经典理论搭框架,做变化。比如商业上经典的RFM模型就是大家分析消费者行为的首选,基于此可以有很多种变形;
(2)提取原始数据的各类特征值:均值,方差,极值,甚至异常值比例都可放入模型观察;
(3)在数据中建模,建出的模型参数也可作为重要变量提取出来。
统计之都曾有篇文章名为《互联网金融中的数据科学》讲到:“对于交易金额组成的一个时间序列,我们可以用每个用户组成的时间序列中季节性系数、白噪声、时间序列中自回归模型的模型系数,这些值都可以认为是描述一个用户金融行为的特征”,这就是一个很好的示范。
其实说到底,要想提炼、选择出有效的变量,终究还得靠我们对业务背景,对事物运行规律的洞察和理解。前段时间,李克强总理提出的著名“克强指数”只用耗电量、铁路货运量和贷款发放量 三大指标就大致把握了辽宁省的经济特征,不能不说是对辽宁重工业经济运行规律深刻把握的结果。
这就是本期的分享啦~“如何用模型讲一个有趣、有用的故事” 这是小妹一直在关注和思考的问题,曾有幸听过一些让人眼前一亮的优秀示范,现总结一二与大家分享,希望与共同爱好的童鞋相互切磋。小妹想统计学本不应该是高冷枯燥的,她应该有更鲜活的一面,等待我们发掘,给我们带来思考。
<鸡汤时间>