SMELT:把 Transformer 中间一半层「跑两遍」,训练 FLOPs 省 6.8–18%
SMELT 提出在匹配每 token FLOPs、非嵌入参数量与 KV 缓存的前提下,把 Transformer 中间一半的层重复执行两次。在最多 54B 非嵌入参数的四个规模点上,计算最优前沿上的训练 FLOPs 节省 6.8–18.0%,收益可迁移到下游任务(尤其是代码),作者将其归因于第二遍中 attention sink 行为减弱。
① 判断:「循环 Transformer」这个方向的核心直觉是:同一组参数多用几次,等价于用更少参数换更多「思考步数」。这和让模型多写几步推理是一脉相承的——只不过发生在架构内部。 ② 对研究者:不需要你会训练模型,但值得理解「参数量 ≠ 计算量 ≠ 能力」这一点。看模型 spec 时,别只看 B 数。 ③ 动作:作为概念收藏;对做机器学习方法论的同学,这篇是 scaling law 研究的好例子——控制变量做得干净。