截断与断尾回归——处理什么问题？用错 OLS 的后果？最小必要知识与决策框架

一、开篇：你的数据不是"完整的"——但你的 OLS 假装它是

你研究"工资的决定因素"。你用的是一份微观调查数据——但这份数据只包含正在就业的人。你没有失业者的工资（他们没有工资），也没有退出劳动力市场的人的信息。

你跑了 OLS：

reg wage education experience age

系数显著，教育回报大约是 8%。你准备下结论——"每多受一年教育，工资提高约 8%"。

但有人提醒你：你的样本是"选择后的样本"——只有那些选择工作且找到工作的人，才进入了你的回归。 如果教育不仅影响工资，也影响一个人是否选择工作（教育程度高的人更可能参与劳动力市场）——那么你的 OLS 估计的就不只是"教育对工资的影响"，而是两个效应被混杂在了一起：教育对工资的真实影响 + 教育对"谁进入了工资方程"的选择效应。

你面对的这个问题——在你的样本中，Y（工资）只对一部分人可观测，且"谁被观测到"不是随机的——这就是**截断（Truncation）和样本选择（Sample Selection）**问题的核心。

它和你在同一系列中看到的审查（Censoring）和 Tobit 不同——但它们共享同一个家族：受限因变量模型（Limited Dependent Variable Models）。理解这个家族中每个成员的"适用范围"——以及你错用 OLS 的代价——是这篇文章要给你的最小必要知识。

核心信息：受限因变量有三张不同的脸，但它们都在说同一件事——你的 Y 不是对所有人和所有值都"完整可见"的。第一张脸是审查（Censoring）——你知道 Y 的真实值被一个阈值截住了，但你知道 X 对所有观测（包括被审查的观测）的值。如收入在问卷中被编码为"50 万以上"——你知道这个人的收入 ≥ 50 万，也看到他所有的 X（教育、年龄、职业）。审查回归利用了这个"部分信息"——被审查的观测贡献了"Y 至少是某个值"的概率，而非被丢弃。第二张脸是截断（Truncation）——Y 低于（或高于）某个阈值时，整个观测都从你的样本中消失了。你不知道被截断的人的任何信息——没有 Y，没有 X。如你只有就业者的工资数据——失业者的工资和他们的特征都不可见。截断回归只能用可见的观测来估计——但它需要修正"我只看到了那些越过了门槛的人"这个事实。第三张脸是样本选择（Sample Selection）——Y 是否被观测到，取决于另一个过程。如"是否就业"是第一步（选择方程），"工资是多少"是第二步（结果方程）。如果两个方程的误差相关（同一个人在第一步和第二步中共享了不可观测的因素——如能力）——只对第二步用 OLS 会产生选择偏误。Heckman 两步法是处理这种选择的标准工具。这三种数据结构的共同后果是：OLS 在截断或选择的数据中是不一致的（不仅不有效——系数也偏了）。截断丢弃了门槛以下的信息——OLS 只用门槛以上的观测，给出的 β 不是总体的真实边际效应。审查虽然保留了全部观测，但 OLS 在审查值上的线性拟合扭曲了真实关系的形状。审慎选择模型的关键不是'哪个模型更高级'——而是'你的数据在哪个环节丢失了信息：是 Y 被挡住了一部分（审查），还是整条观测被丢弃了（截断），还是 Y 是否可见本身就是一个经济选择（样本选择）？'

二、三张脸——审查、截断与样本选择的本质区别

2.1 用同一个数据生成过程来看三个概念的差异

假设真实的工资生成过程是：

$Y_i^* = \beta_0 + \beta_1 \cdot \text{Education}_i + \varepsilon_i, \quad \varepsilon_i \sim N(0, \sigma^2)$

$Y_i^*$ 是每个人在劳动力市场上的"潜在工资"——无论他们是否真的在工作。

场景一：审查（Censoring）——从上方审查

你的问卷把工资编码为"50 万以上"（top-coding）。你观测到的是：

$Y_i = \begin{cases} Y_i^* & \text{如果 } Y_i^* < 50\text{万} \\ 50\text{万} & \text{如果 } Y_i^* \geq 50\text{万} \end{cases}$

你知道每个人所有的 X（教育、年龄、职业）——无论他们的工资是否被审查。 对于那些工资 ≥ 50 万的人——你知道他们的 Y 至少是 50 万，你的信息是"Y ≥ 50 万"，而非对 Y 的精确值。审查回归不丢弃这些观测——而是将"Y 至少是某个值"的概率纳入似然函数。

场景二：截断（Truncation）——从下方截断

你的数据只包含工资高于某个阈值的人——如你只有工资 > 最低工资 2000 元/月 的人的完整数据。低于这个阈值的人——工资和 X 都不可见。

$Y_i = Y_i^* \text{ 只在 } Y_i^* > 2000 \text{ 时被观测到}$

你只看到越过门槛的人。 门槛以下的人——完全的黑暗。截断回归只能在可见的观测上估计——但它加入了一个修正项，因为你只看到了高工资的人，而高工资的人恰好是那些"教育和能力的组合超过门槛"的人。

场景三：样本选择（Sample Selection）——Y 是否可见本身是一个选择

你的数据中，每个人的 X（教育、年龄……）都可以被观测到——无论他们是否在就业。但 Y（工资）只对那些选择进入就业的人可见。

$Z_i^* = \gamma_0 + \gamma_1 \cdot \text{Education}_i + \gamma_2 \cdot \text{Age}_i + u_i \quad \text{（选择方程——是否就业）}$

$Y_i^* = \beta_0 + \beta_1 \cdot \text{Education}_i + \varepsilon_i \quad \text{（结果方程——工资）}$

当 $\text{Corr}(u_i, \varepsilon_i) \neq 0$ ——即影响一个人是否就业的不可观测因素（如动机、能力），和影响工资的不可观测因素是相关的——只对就业者跑 OLS 会产生选择偏误。

2.2 三者的根本区别——一张表说清楚

三、如果用错 OLS——三种数据结构下的具体后果

3.1 在审查数据上用 OLS——系数向零衰减

场景：Y 在 50 万处被审查（top-coding）。OLS 把审查观测的 Y 值当做精确的 50 万——但实际上这些人的 Y 是 ≥ 50 万，真实的 Y 可能远高于 50 万。

后果：OLS 的斜率被向零拉。因为 X 高的人更可能被审查——而他们的真实 Y 被低估了（被 50 万压住了）。OLS 看到的是"X 高 → Y 被压到 50 万"——这会低估 X 对 Y 的真实效应。

直觉：高教育者的真实工资远超 50 万，但审查让 OLS 以为他们的工资就是 50 万——OLS 被迫低估了教育的回报。

量级：审查比例越高 → 衰减越严重。如果 5% 的观测被审查，衰减在 5%—10% 范围内。如果 20%—30% 被审查 → 衰减可能是相当大的。

3.2 在截断数据上用 OLS——系数向零衰减（通常）

场景：你只有 Y > 2000 的人的完整数据。截断门槛以下的人——在截断数据中完全不可见。

后果：OLS 只用 Y > 2000 的观测——这些是"越过了门槛的人"。在这个子样本中，X 和 Y 之间的真实关系被压缩了——因为门槛切掉了分布的左侧尾部，样本中的变异被人为缩小。OLS 的 β 通常向零衰减——因为你在一个被截断的、变异更小的样本中运行回归。

直觉：如果你的门槛是 2000——那些工资刚好在 2000 以上的人和工资远高于 2000 的人都在样本中。但 X 在门槛附近的效应被"门槛效应"扭曲了——因为门槛的存在使 Y 的分布在门槛处被人为地抬高（只看到越过门槛的人），这干扰了 X 和 Y 之间的真实协方差。

3.3 在样本选择数据上只用可见观测的 OLS——偏误方向取决于选择

场景：你只对就业者跑工资回归。进入就业的概率和工资共享不可观测因素（能力、动机）。

后果：$\hat{\beta}$ 的偏误方向取决于能力在就业和工资两个方程中的作用。

• 如果能力强的人更容易就业 且 能力在就业者中提高了工资 → $\text{Corr}(u, \varepsilon) > 0$ → OLS 高估教育的回报（因为就业者恰巧是能力最高的那群人）。
• 如果能力强的人更容易就业 且 能力在就业者中的工资和高教育者的工资分布不同 → 偏误方向和量级取决于具体的协方差结构——没有统一的"向上偏"或"向下偏"。

这是三种中最危险的 ——因为它不仅量级偏了，方向也可能偏，且偏误不能在 OLS 框架内被修正（需要一个选择方程）。

四、最小必要知识——合理选择模型的决策框架

4.1 决策树——从你的数据结构出发

你的 Y 出了什么问题？
│
├── Y 在某个值处被"挡住"（上限或下限）
│   │
│   ├── 你知道所有人的 X（包括被挡住的人）
│   │   └── → 审查（Censoring）
│   │       ├── 只在下方被审查（Y ≥ 0，且很多 Y = 0）→ Tobit（角点解）
│   │       ├── 只在上方被审查（top-coding）→ Censored Regression / `cnreg`
│   │       └── 上下都被审查 → 区间审查模型
│   │
│   └── 被挡住的人——你完全没有他们的任何信息
│       └── → 截断（Truncation）
│           └── → Truncated Regression / `truncreg, ll()`
│
├── Y 只对某些个体可见——且"谁被看到"不是随机的
│   ├── 你有所有人的 X（包括 Y 不可见的人）
│   │   └── → 样本选择（Sample Selection）
│   │       ├── 一个选择方程 + 一个结果方程 → Heckman 两步法 / `heckman`
│   │       └── 选择方程的误差和结果方程的误差相关是你需要关注的核心参数
│   │
│   └── 你没有 Y 不可见的人的 X
│       └── → 截断（Truncation）——回到截断回归
│
└── Y 在零处有堆积 + 正值连续（角点解）
    └── → Tobit（标准左审查）——详见本书 Tobit 一文

4.2 三个具体案例——代入决策框架

案例一：工资问卷的 top-coding

"你的工资数据中，月收入 > 50000 元的人全部被编码为 50000。"

• 审查还是截断？→ 审查——你知道这些人的 X，只是 Y 被挡住了。
• 多少观测受影响？→ 假设 5% 的人工资 ≥ 50000。审查比例不高，但高收入者恰巧是教育程度最高的那群——OLS 的衰减效应集中在高 X 处，拉低了整体的斜率。
• 推荐模型：Censored Regression / cnreg。备选方案：Tobit（在上限审查的情况下——即 $Y = \min(50000, Y^*)$）。OLS + 标注"收入 top-coding 可能导致系数向零衰减"作为基准。

案例二：只观测到就业者的工资

"你的劳动力调查数据包含所有人的教育、年龄、性别。但工资变量只对正在就业的人可观测。"

• 审查还是截断还是选择？→ 样本选择——X 对所有人可见，Y 只对选择进入就业的人可见。
• 你是否有变量影响就业但不直接影响工资（排除限制）？→ 这是 Heckman 模型识别的关键：至少有一个变量在选择方程中出现，但不在结果方程中（如"是否有幼儿"影响是否就业，但不直接影响工资）。如果没有 ——Heckman 只依赖非线性的函数形式来识别，识别是脆弱的。
• 推荐模型：Heckman 两步法 / heckman，明确讨论排除限制。备选方案：OLS（基准）+ 讨论选择偏误的方向和可能的量级 + Oster δ 灵敏度分析。

案例三：只观测到"广告支出 > 100 万"的企业

"你的企业营销数据只包含了年度广告支出超过 100 万元的企业——低于 100 万元广告费的企业不在数据库中。"

• 审查还是截断？→ 截断——被截断者的 X 和 Y 都不可见。
• 截断是内生的吗？→ 广告支出 > 100 万的企业可能是"大型企业"——可观测规模、行业和广告支出之间的关联在截断样本中被扭曲了。
• 推荐模型：Truncated Regression / truncreg, ll(100)。备选方案：OLS（在有截断的情况下 OLS 通常向零衰减）作为保守的基准——并注明"本文的 OLS 估计可能低估了真实效应，因为样本限于广告支出 > 100 万的企业。"

五、模型家族的核心成员与命令速查

5.1 模型一览

5.2 关键诊断和检验

Tobit / Censored / Truncated Regression：

• 正态性假设的检验：Tobit 和截断回归都对 $\varepsilon$ 的正态性敏感。在 Tobit 后可以使用条件矩检验（conditional moment test）来评估正态性。不过在实践中这些检验很少被严格执行——更多的做法是同时报告 OLS 作为稳健性参考（因为 OLS 不需要正态性假设）。
• 异方差：Tobit 在同方差假设下估计——如果 $\sigma^2_\varepsilon$ 随 X 变化，Tobit 的 MLE 不一致。稳健的 Tobit 估计量比较复杂，可以改用两部分模型或 OLS + 聚类标准误作为替代。

Heckman 模型：

• 逆 Mills 比率（λ）的系数显著吗？ 如果 λ 不显著 → 不能拒绝"选择偏差为零"的假设（但不能说"选择偏差不存在"——因为检验可能缺乏功效）。
• ρ（误差相关）显著吗？ ρ = 0 → 两个方程的误差不相关 → 选择偏差可能不存在或至少不严重。
• 排除限制的有效性：是否有至少一个变量在选择方程中出现、但理论上不在结果方程中出现？这是 Heckman 模型识别的最强论证——也是审稿人最关注的地方。没有排除限制时，Heckman 的识别只依赖函数形式（正态性），在实证上是脆弱的。

六、常见误区

6.1 误区一："审查和截断是同一回事"

审查 = 你知道所有人的 X，Y 只是部分可见。截断 = Y 和 X 对门槛以下的人都不可见。数据可用的结构决定了你能用的模型：审查保留了一部分信息（X 和被审查者的"至少某个值"），截断完全丢弃了门槛以下的信息。 用截断回归去处理审查数据（或反之）不会给你正确的答案——虽然两个模型的名字相似，但它们的似然函数结构不同。

6.2 误区二："Truncated Regression 就是只取 Y > 0 的子样本跑 OLS"

取 Y > 0 的子样本跑 OLS 正是在做"忽略了截断"的操作——这正是 Truncated Regression 试图修正的。OLS 在截断样本中通常向零衰减——因为截断压缩了 Y 的变异。Truncated Regression 通过在似然中除以被观测到的概率，恢复了在无截断总体中的 β。

6.3 误区三："Heckman 两步法可以解决一切选择偏差问题"

Heckman 模型依赖于两个强假设：（a）误差的正态性；（b）存在一个满足排除限制的变量——在选择方程中出现但不在结果方程中出现。在没有排除限制的情况下，Heckman 的识别仅依赖于正态分布的非线性——这在实证上是极其脆弱的。 一个好的 Heckman 应用应该清晰地讨论排除限制：为什么这个变量影响"是否被观测到"，但不直接作用于 Y？审稿人拒绝 Heckman 最常见的原因就是"排除限制不可信"。

6.4 误区四："Tobit 可以处理截断数据——因为都是 MLE"

Tobit 假设被审查的观测的 X 是已知的——这对于审查数据成立，但对于截断数据不成立（截断观测的 X 也丢失了）。Tobit 的似然中，被审查观测贡献了"Y 在阈值之下"的概率，这个概率中包含了 X 的信息。截断回归的似然中没有这部分——因为 X 本身不可见。Tobit ≠ 截断回归——用 Tobit 处理截断数据或反过来，都会得到不一致的估计。

6.5 误区五："我的数据有选择问题 → Heckman 是唯一的出路"

Heckman 不是处理选择问题的唯一工具——也不是总是最好的工具。替代方案包括：

• DID / 固定效应：如果选择是基于不随时间变化的未观测因素（$u_i$）→ 面板 FE 可以直接消去它，不需要选择模型。
• 工具变量：如果选择可以工具化（有一个影响"是否被观测到"但不影响 Y 的 Z）。
• 边界分析（Partial Identification / Bounds）：不假设选择模型的完整结构，而是给出 β 的可能范围。这在选择模型假设难以验证时是更诚实的。

七、总结

截断、审查和样本选择——六条核心知识：

1. 审查 ≠ 截断 ≠ 样本选择。 审查：Y 被挡住，X 全可见。截断：Y 和 X 都对门槛以下的人不可见。样本选择：Y 是否可见是一个经济决策，X 对所有人可见。

2. OLS 在三者中的后果不同：审查 → OLS 系数向零衰减（被审查的 Y 值被错误地当作精确值）。截断 → OLS 系数通常向零衰减（样本变异被人为压缩）。样本选择 → OLS 不一致——偏误的方向取决于选择方程和结果方程的误差相关方向（可能向上也可能向下）。

3. 选择模型的决策取决于数据的缺失结构——不是"哪个模型更高级"。审查 / 截断 / 选择的区分来自你的数据收集和数据生成过程——而非统计检验。

4. 审查和截断回归依赖于正态性和同方差的假设。 如果这些假设被严重违背，OLS（尽管有偏）在某些情况下可能是更稳健的选择——因为 OLS 在这些假设被违背时仍然保持了一致性（在线性投影的意义上）。务实的策略：报告 Tobit / Truncated Regression 作为主模型，OLS 作为稳健性参考。

5. Heckman 模型的有效性取决于排除限制。 没有一个在选择方程中但不在结果方程中的变量 → Heckman 的识别只依赖于函数形式（脆弱）。这是审稿人拒绝 Heckman 的首要原因——你需要在论文中明确论证你的排除限制。

6. 没有完美的受限因变量模型。 所有这些模型都在"更接近真实数据生成过程"和"需要更强的分布假设"之间进行权衡。好的实证不是找一个完美的模型——而是在你的数据约束下选择最合理的模型，并坦诚地讨论它的局限。

一句话收尾：

"你的数据中有些信息是缺失的——这不是你的错。但假装缺失的信息不存在——继续用 OLS——是错。审查告诉你'有些人被挡住了，但我知道他们是谁'——审查回归利用了这个部分信息。截断告诉你'门槛以下的人消失了——我没有他们的任何踪迹'——截断回归在可见的部分中修正了这个消失。样本选择告诉你'有些人选择了不被看见——但我知道他们为什么做这个选择'——Heckman 模型利用了这个选择过程的信息。用正确的模型不是因为你想要更复杂的统计——而是因为你的数据已经在某个环节丢失了信息。你要做的，不是在缺失的信息上假装它们完整——而是在丢失的环节上放置正确的数学结构，使剩下的信息被正确地使用。"

八、B站/公众号呈现建议

• B站视频：建议用"三扇不同的门"作为核心视觉隐喻。三个场景并行——门 A（审查）：一扇不透明的屏障挡在 Y 轴的上方。你可以看到所有人的 X，但高 Y 的值被屏障模糊化了。门 B（截断）：一个门槛横在 Y 轴的下方。门槛以下的人——整个身影（X 和 Y）都消失在画面之外——完全的黑暗。门 C（样本选择）：X 对所有人可见（所有的人站在画面中），但 Y 只对一部分人浮现——那些"选择进入"的人身上的 Y 标签亮了起来。旁白："受限因变量不是一种——是三种。审查：你知道所有人的特征，但 Y 被一个阈值挡住了。截断：门槛以下的人——连特征带结果，都在你的数据中彻底消失了。样本选择：你看到所有人的特征，但结果只对一部分人可观测——而'谁被观测到'本身是一个经济选择。" 第一幕"用错 OLS 的后果"：三个场景各自展示 OLS 的失效。场景一——OLS 线被压在审查阈值处（衰减——向零偏）。场景二——OLS 线在截断样本中趋向水平（变异被压缩——向零偏）。场景三——OLS 线在选择性样本中偏斜（选择偏误——偏差方向取决于选择）。旁白："OLS 在三种场景中都偏了——但偏的方向和原因各不相同。审查把 Y 压低了，截断把 Y 的变异压缩了，选择把样本限制在了一个非随机的子集。三种不同的机制——但 OLS 对它们都无能为力。" 第二幕"决策树"：一棵树生长——三条主分支分别延伸：审查 → Tobit / cnreg，截断 → truncreg，选择 → heckman。每个分支上悬挂着对应场景的微缩画面。决策树的核心节点上有一个问题："X 对所有人都可见吗？"→ 是 → 审查或选择。→ 否 → 截断。第二个问题："Y 不可见是因为一个经济选择吗？"→ 是 → 样本选择。→ 否 → 审查。旁白："不需要记住所有的模型——只需要回答两个关键问题：（1）X 对所有人都可见吗？（2）Y 为什么不可见——是因为被挡住的，还是因为被'选择'掉的呢？"

• 公众号：审查 vs 截断 vs 样本选择的对比表（概念定义、X 是否全可见、OLS 用错后果、标准模型、Stata 命令）做成信息图核心——这是整篇文章最重要的视觉输出。决策树做成纵向流程图。四种模型（Tobit、Censored、Truncated、Heckman）的"使用条件 + Stata 一行命令 + 关键风险"做成速查卡。OLS 在三者中的偏误方向（审查→向零、截断→向零、选择→方向取决于选择）做成三对比卡。案例 1—3 的完整代入（数据结构→模型选择→Stata）做成实操参考卡。常见误区五则做成纠错卡。

• 推荐标题：

  • 主标题：《审查、截断与样本选择——你的 Y 在哪个环节丢失了信息？》
  • 备选标题：《Tobit、Truncated、Heckman——受限因变量模型的最小必要知识与决策框架》
  • 新媒体标题：《你的数据不完整——但 OLS 在假装它完整。审查、截断和样本选择的区别与选择》

• 金句提炼：

  "审查、截断和样本选择都在说同一件事——你的数据不完整。但不同的'不完整'需要不同的模型。审查：信息被一个阈值挡住了——但你至少知道谁被挡住了。截断：信息连同观测一起消失了——只剩下一片黑暗。样本选择：信息还在，但它是被'选择'的——你需要理解这个选择的逻辑，才能修正结果的偏误。"

  "OLS 在你缺失信息的地方假装一切正常。审查 → OLS 把'被挡住'当做'就是挡住的这个值'（低估了真实值）。截断 → OLS 忽略了'门槛以下的人消失'（在变异被压缩的样本中回归）。样本选择 → OLS 假装'谁出现在 Y 的方程里'是随机的（忽略了选择）。三种不同的假装——三种不同的偏误。"

  "Heckman 模型是把'谁被看到了'和'被看到的人有多少'放在同一个框架中。但它的命门是排除限制——在选择方程中至少有一个变量不影响 Y。如果你找不到这样一个变量——你的 Heckman 只靠正态分布的形状来识别——薄得像一张正态曲线纸。"

  "受限因变量模型不是统计学的炫技——它们是你在数据不完整时数学上的诚实。你承认你的信息在某个环节丢失了，你在这个环节上放置了正确的结构。这样做不是为了让你的系数更显著——而是为了让你的系数在最诚实的尺度上反映你的数据的真实故事。"