AI 热点追踪 · 每日 5–6 条

AI 概念

每天从模型发布、Agent 与工具、算力基建、科研应用、安全治理等赛道中,挑出最值得研究者关注的5–6 个热点:先说清楚「是什么」,再给出范老师的判断—— 对科研有什么用、该不该跟、怎么用。

累计条目
12
追踪天数
2
最近更新
09/02

2026-09-02 · 1 条「核心概念」热点

核心概念Hugging Face Papers

SMELT:把 Transformer 中间一半层「跑两遍」,训练 FLOPs 省 6.8–18%

SMELT 提出在匹配每 token FLOPs、非嵌入参数量与 KV 缓存的前提下,把 Transformer 中间一半的层重复执行两次。在最多 54B 非嵌入参数的四个规模点上,计算最优前沿上的训练 FLOPs 节省 6.8–18.0%,收益可迁移到下游任务(尤其是代码),作者将其归因于第二遍中 attention sink 行为减弱。

范范老师点评

① 判断:「循环 Transformer」这个方向的核心直觉是:同一组参数多用几次,等价于用更少参数换更多「思考步数」。这和让模型多写几步推理是一脉相承的——只不过发生在架构内部。 ② 对研究者:不需要你会训练模型,但值得理解「参数量 ≠ 计算量 ≠ 能力」这一点。看模型 spec 时,别只看 B 数。 ③ 动作:作为概念收藏;对做机器学习方法论的同学,这篇是 scaling law 研究的好例子——控制变量做得干净。

#核心概念#Transformer#Scaling Law#架构

2026-09-01 · 1 条「核心概念」热点

核心概念Claude 开发者文档

概念扫盲:Prompt Cache(提示缓存)到底缓存了什么?

提示缓存指模型服务端保存已处理过的上下文前缀(系统提示、长文档、工具定义等)的中间计算结果;后续请求若前缀完全一致,可直接复用而不必重新计算,因此按「缓存读取」的低价计费。缓存以精确的前缀匹配为条件,通常有 5 分钟到 1 小时的存活期。

范范老师点评

① 判断:「便宜」不是厂商的让步,而是工程结构决定的:Transformer 处理前缀的 KV 结果可以存下来,重复请求就不用重算。理解这一点,你就知道该怎么组织 prompt——把不变的(文献全文、编码规范、变量字典)放最前面,把每次变化的问题放最后。 ② 对研究者:这直接决定你做文献批处理的成本曲线。同一篇论文问 20 个问题,缓存命中和不命中的账单可能差出一个量级。 ③ 动作:查一下你常用的 API / 客户端是否自动启用缓存;如果是自己写脚本,前缀顺序今天就调。

#核心概念#Prompt Cache#KV Cache#成本