计量小课:计量经济学基础

[模型世界]处理因变量连续的横截面数据:线性回归(1)

今日开讲,我们要从最大众的数据,最经典的模型说起。

作者:爱撩数据的小妹发布:2018-01-08更新:2026-11-16★★

今日开讲,我们从最大众的数据,最经典的模型说起。

本系列第一个要对付的数据类型是:因变量连续的横截面数据。

啥啥啥,你说的这一长串都是些啥?别着急,听小妹快问快答给大家一一解释

快问快答讲数据

1 江湖上那么多数据,你这里数据又是哪一路的?

答:无论最初出身如何,本系列所涉及的都是已经清洗过的结构化数据,也就

是你打开excel就能看到的横行竖列数据(统计行话中:这些表里的行代表记录或观测,列代表变量或指标)

2  横截面数据又是啥?

经济计量学术语,重点强调所有数据在同一时间点搜集。为简便起见,本系列不特别强调时,数据就指“横截面数据”。

3  因变量是个啥?

模型中相对于自变量的称呼,也叫被解释变量,常放在模型左边,是你最想解释和预测的那个变量,比如:余罪下季死没死;人猿泰山票房能有几个亿。

4 当我们说变量连续的时候,我们在说什么?

一说这个变量的取值是数字,二说理论上它能够取某段数轴上所有值。

5 除了连续,我们还能见到啥类型数据?

  以下是基本的数据类型分类。

最后,小妹送给大家一句话供大家意会:

你家邻居小芳,一位女神(男,女——名义数据),身高175cm(175,连续数据),成绩常常年级第一(排名第一第二:有序数据),她妈妈最近开了家烧饼店,然而生意一般,今天因为下雨竟然只有10个人买饼(10个人,离散数据)

所以,总结一下我们之后几期模型要对付的目标:因变量连续的(横截面)数据。

今天就来从一个最经典的模型开始,一窥模型鼻祖的威力。

模型一:经典线性回归 linear regression

这一期先不涉及技术细节,搬来小板凳,我们先来聊聊这个被人们推崇备至的模型,它到底是个什么鬼?又有多重要?

1线性回归为什么辣么重要?

学模型,小妹总想搞清楚的第一个问题就是;它真的有辣么重要嘛?

教科书这样回答这个问题“它尽管简单,但仍是一种有效并被广泛使用的方法,而且很多高级方法,都可以看作线性回归的推广或者拓展”,言简意赅,但又容易“合书即忘”。下面小妹结合自己的思考与权威书籍谈谈这些“显而易见”的问题。

(1)有哪些方法是线性回归的推广?

答,广义线性回归。(别笑,我是认真的!)

尽管线性回归主管对连续数据建模,但后面大家就会发现,在处理其他类数据时也都逃离不开这套思路:那些创造模型的人都是“眼里看着千变万化的y,心里只有永恒不变的线性回归”,它们或者想方设法找数据分布中的某个连续参数,或者定义一种巧妙的方式把它们变化成连续数值作为新的被解释变量,再来使用线性回归的精华。它们就被统称为“广义线性回归”,这里面包含了一大类的模型,至于它具体包含什么,怎么与线性模型藕断丝连的,小妹以后继续透露~

万千世界,我的眼里只有你

(2)现在软件这么发达,复杂模型也分分钟出结果,为什么它还是被广泛使用?

答,因为简单。

不不不,这不是废话,而是饱含深意。因为简单,不懂统计的人也很容易理解,推广性强;因为简单,它往往能抓住主要的矛盾,解释性强,同时也是因为简单,它对数据的抗干扰能力也更好,稳定性强。

(3) 世界上万物的关系这么复杂,都用线性关系来简化,建出的模型能准确吗?

这个小妹还真不好说。

但特别赞同经典书籍《Introduction to statistical learning》里的观点,那就是我们在选择模型的时候,其实都是在做一个权衡:如果你选择一个过于简单的模型,那么对真实世界模拟时的偏差可能会大;而如果你选择一个过于复杂的模型,那么又可能造成对于数据拟合过分,那么换一批数据进来模型就很容易变,导致模型估计不稳定,所以打造一个好模型,”绝对是技术与艺术结合的作品”。(更精确的描述可参考该书24页)

另外,关于“我们是否应该选择复杂模型来模拟真实世界”这个问题上,小妹还想给大家分享一个神奇的小例子:这是台大林轩田老师在《机器学习基石》课上讲提到的,说即使真实世界的关系真的很复杂(当时他使用某个十次多项式产生出的数据集),我们用简单模型出来的拟合结果也可能比用过于复杂形式的模型拟合效果更好(课上的结果是说直接采用十次多项式设定拟合),原因是模型为复杂度的增加所付出的代价太大了。这个例子很值得我们深思呀~

注:这里“更好”的评价标准是预测的平方误差根最小,用常用的评价指标MSE,后面都会讲到哒~

2 模型设定形式有什么奥妙?

线性回归模型的设定形式很简洁:

其中 x 称为解释变量或自变量,y 称为预测变量或因变量, 最后一项称为残差项,代表所有没有被我们纳入考虑的因素们。我们把数据输入软件,目的之一就是要估计这些beta系数,来回答如何通过一系列 x 来预测 y,解释y等诸多有趣的问题。

仔细观察这个模型,这个看似简单的模型,它对自变量和因变量之间的关系做了什么假设呢?对,线性可加性,让小妹来展开聊下什么是可加性,又什么是线性性。

(1) 可加性 

是指某个自变量对因变量Y产生的影响与其他自变量的取值无关。

这个假设合理吗?有时候不完全是。你是不是明显感觉到你爸爸凶你的强烈程度与你妈在不在场有很大关系!那这个时候,我们应该 如何在模型里体现这种因素间的“交互作用”呢?小妹可以透露,那就是在线性模型中加入交互项

添加交互项常常能产生有趣的故事,感兴趣的同学可以去放开手找好玩的例子看啦!

(2)  线性性 

这个假设是指无论x取何值,它变化一个单位所引起的响应变量y的变化是恒定的。

这个假设合理吗?上面小妹已经做过一些讨论,具体可由看官决定,但可以告诉大家一个简单的把“非线性因素”加入此模型的办法就是:所谓的“多项式回归”,

脑洞再大一点的同学可以继续根据现实场景想扩展模型的方式。比如有没有可能某个x在一定范围内恒定影响y,但是超出了那个范围,就以不同的程度影响y 呢?你学一门新课,刚开始无论看多少书,都是“昨夜西风凋碧树”的苍凉,等有一天突然茅塞顿开,再看那些书就会有  “那人就在灯火阑珊处”  的通融感,所以不同时间你的书对你的影响程度肯定不是线性的!那请问,这个时候该怎么修改模型呢?留给感兴趣的大家自己想啦~

3 这个模型有什么假定吗?

线性模型,常见的假定有三个:等方差,独立性和正态性。

他们大多都是针对残差项以及误差与自变量的关系作假设的,主要为之后模型系数推断及检验服务。此处小妹只将其简单罗列,让大家知道统计的同学们在研究一个模型时,需要先确定它的一些假设来辅助推断。虽然实际操作中很少人在建模前检验这些假设,但其实如果违背过大还是会一定程度上影响系数估计和检验的效率,因此我们在之后讲“ 怎么判断你的模型是否正确”即模型诊断环节时还会再提及这些假设。

(1 )等方差

   这是指残差项的方差是一个常数,不依赖于自变量的取值

(2)  独立

 独立性有两层含义,一层指不同观测之间需要互相独立,也就是数据中行与行之间“尽量  相互无关”;另一个是模型的残差项与解释变量之间是“相互独立的”。 

(3)  正态性

   即假设残差项e是服从正态分布的。这个假设虽然在现实生活中很难保证,但统计学家族的祖传法宝——中心极限定理却常常能够保证,当我们的样本数据足够大时就能达到这个假设要求。

   好啦,以上就是本节全部内容,是不是感觉意犹未尽呀?请看下节预告~

下节预告

Next

下小节小妹会开始讲这个模型的估计方法——最小二乘估计,以及模型及其系数的检验问题,这是统计模型的精髓所在。你猜猜最小二乘法跟线性代数有什么神秘的关系?如何一图理解最小二乘法的算法原理?想知道的话,期待小妹的下期栏目吧~


< 鸡汤时间 >

执着追求并从中得到最大快乐的人,才是成功者。    ——梭罗

继续阅读

学习路径

计量小课:计量经济学基础·第 2 / 63 篇
2[模型世界]处理因变量连续的横截面数据:线性回归(1)