Anthropic 在 11 月 13 日放了一份文档,标题是 Building always-on agents,作者 William Hu。它没发在 anthropic.com/engineering 那个工程博客上,而是挂在 claude.com/resources/articles 下面。
这个落位本身就是第一个线索。工程博客放的是研究和技术复盘,resources 放的是给开发者的产品级指导。这份文档属于后者:通篇在讲「你该怎么搭」,而几乎每个「该怎么搭」的答案后面,都挂着一条指向 Claude 自家文档的链接。
我把这份文档拆开数了一遍:五个构件、三张数据库表、一个文件目录、一个代理,外加一笔需要打折的省 78%。
先说结论。这份指南把「常驻 agent 中间件」这个品类的定价依据公开作废了,同时不动声色地把自己最强的那一环,确立成这套架构里唯一没法自建的零件。
文档自己先把「常驻」这个词否掉了
原文第二节的开头是一句自我拆台的话,我照抄:
An always-on agent is not actually “always on.” This is just a description of the user experience.
紧接着它给了正确的模型。智能体绝大部分时间在睡觉,被事件或定时器周期性唤醒,干完一段活再睡回去。每段活叫一个 run:收到事件、完成任务、把发生过的事存下来。run 跑在一个 session 里,session 是消息和工具调用的记录。run 结束,智能体回到睡眠,循环无限重复。
这段定义看着像修辞,其实是整份文档里最有分量的部分。它把「常驻」从一个模型能力问题,改写成了一个状态机问题。如果一个 agent 真的需要一直连着模型推理,那这件事的成本和失败模式都由模型厂商决定;但一旦它被拆成「多数时间不花 token、短暂唤醒跑一轮」,那要造的东西就落到了外部架构上,也就是数据库表、后台进程、文件目录这些东西。
后面的五个构件,全部是在给这个状态机补零件。这份文档更准确的标题本该是「怎么给你的 agent 搭一个可靠的唤醒循环」,只是那个标题没人点。
五个构件,一个一个拆
事件收件箱
大多数 agent 只在用户发消息时运行。常驻 agent 的触发源多得多:webhook、定时任务、后台作业。
一个很自然的做法是让每个事件源直接调用 agent。文档明确点了这个做法会坏在哪里:两个事件同时到达会启动互相竞争的 run,中途崩一次会把事件整个丢掉。所以中间要加一个收件箱,事件先写进队列,由 worker 取走。
最小实现是三个件。一份持久化的事件列表(通常是一张数据库表)、一个处理器(通常是 HTTP 端点)负责把事件写进列表、一个 worker(通常是后台服务)负责读。表里要跟每个事件的状态,并按来源给出的唯一 ID 做去重。文档建议一张关系型表就够,每个事件追加一行,起步阶段一个用户一个收件箱。
它给的四条最佳实践值得抄下来,因为这四条全是踩过的坑:
- 处理器要快速确认。有些来源(比如 webhook 提供方)会把慢响应当失败。处理器可以做轻量校验,但更深层的检查,它点名了提示词注入,放到 run 里做。
- 收件箱是唯一真相。worker 被唤醒时先拉最新事件。这样 worker 中途死掉,新的 worker 能捞起同一个事件重试。
- 一个收件箱同时只能有一个活跃 worker。否则两个 run 会重复干活或互相覆盖。
- worker 要把待处理事件批在一起。用户连着发几条消息,合并成一次 run,agent 只回一次。
这段是全文写得最实的一节:有失败模式、有最小实现、有四条规则,两页图示。外链数:零。
定时器
定时器和收件箱配合,让常驻 agent 变成主动的。它分两类。follow-up 是 agent 给自己设的期限,比如过一阵去看看某个回复。schedule 是按已知节奏重复的任务,比如每天一份简报。
关键设计是这两样东西住在自己的一份持久存储里,通常是另一张表,和收件箱分开。理由文档讲得很直白:收件箱里只应该放「准备好被处理」的事件,定时器还没到点,不属于这一类。
还有一个容易写错的点。定时器自己不会启动 run。真正干活的是一个调度器,通常是后台服务,按固定间隔轮询那张表,把到点的东西点着。每轮三步:扫出到点的定时器、按类别更新它(follow-up 标完成,schedule 把到期时间推到下一次)、往收件箱里投一个事件并唤醒 worker。
调度器可以自己写,也可以用现成的持久执行引擎。这节也是零外链。
记忆
run 之间是断开的,连续性靠记忆。
和收件箱、定时器一样,记忆要有自己的存储。文档提到它自家产品(Claude Code 的 auto memory、Messages API 的 memory tool)实现成一个文件目录;对常驻 agent 来说,这个目录要映射到持久存储,通常是数据库或对象存储。这句话的重点在后半句:记忆要活得比 worker 久。
然后是整节里最有用的一条判断标准,我把它当规则记下来了:
记忆里只存 agent 查不回来的东西。
已经住在别的系统里的事实,比如某个 issue tracker 里的工单,存一个指针就够。文档把要存的记忆分了四类:
- 用户指令:任何关于 agent 该怎么表现的指令,单独一个文件,每次 run 开始时加载。人不会一直在旁边纠偏,所以指令得跨 run 带过去。
- 用户笔记:agent 学到的关于用户的事,角色、偏好、给过的纠正。起步一个文件,多了就拆成多个小文件,此时每次 run 只加载一个索引,需要细节时再拉具体文件。
- 说过的话:agent 要记住自己已经告诉过用户什么,免得重复。可以单独存一个文件每次加载,也可以让 worker 把最近几条消息带上。
- 任务进度:每个进行中的任务一份进度文件,写清做完什么、还剩什么。下一次 run 读这个文件接着干。
文档还提了 dreaming,也就是在 run 之外回看历史会话,替换过期条目、找出只有跨很多次 run 才显形的模式,并把这条引到另一篇 11 月 6 日的记忆专文上。
记忆这节还夹了一个关于上下文窗口的小节,容易被略过但很实际。agent 在干活之前要加载系统提示、工具定义、记忆文件,这部分固定开销每一次 run 都要付。文档的建议是保持精简,并用 prompt caching 降成本。新 session 开始只有这部分开销加上触发它的事件;已有 session 会把之前几轮的消息和工具调用全带回来,长到一定程度就要压缩老消息或开新 session。两种做法都丢细节,所以需要留存的东西要随手写进记忆。
记忆这节外链数:五条,是全文最多的一节。
权限
到这儿文档换了口气。原文说得很直接:
Permissions are where always-on agents carry the most risk.
理由是结构性的。一次 run 拿着用户的访问权限,而且按设计是无人值守地跑。每一次工具调用,agent 都要决定是自己往下走、拦住、还是等批准。文档说权限用的构件和其他 agent 一样,然后列了三样。
凭据存储。常驻 agent 经常需要敏感用户凭据才有用。推荐做法是一个 agent 环境之外的代理,往发出的请求里加凭据。agent 发出的请求不带凭据,代理在转发前把真凭据注进去。
auto mode。常驻 agent 不能总等人输入。Claude Code 的 auto mode 用分类器审查高风险动作,把判定为危险的那些拦下来,让 Claude 找更安全的路径。文档补了一句:最重要的决定还是需要人来看。
延迟工具调用。Claude Code 里有个 hook 可以把一次工具调用挂起,等用户补充输入。常驻 agent 同理。一次调用被挂起时,run 结束,会话连同调用现场一起保存。请求展示给用户,答案作为收件箱里的一个事件回来,启动新的 run,从保存的会话接着跑。等答案期间 worker 可以去处理别的事件,所以 agent 不会被堵住。
这三样都成立,但请注意这一节的形态。全文说权限是风险最大的一环,然后给了一段定调加三个短条目,每条都是一句解释加一个链接。没有失败模式,没有最小实现,没有图示。
发件箱
多数 agent 的回复是边生成边流给用户的,用户能看着 Claude 一步步推理、调工具、写答案。常驻 agent 不是。它大部分活在后台,用户拿到的是结果和几条细节,不是全过程。
一次 run 有三种收尾方式:往发件箱里写一条消息、判断没什么值得发的、或者用延迟工具调用去要权限或补充信息。
然后是这节最实用的一句实话:大多数常驻 agent 用一个「发送」工具直接把消息给用户就够了。只有在你想给 agent 的消息限速、或者想让它从投递错误里恢复时,才需要正式的 outbox。真要建的话,结构跟收件箱对称:一张出站消息表,加一个 dispatcher,也就是 worker 的对应物。
最后一层是节奏。发太多会变噪音,发太少会漏事。文档建议用评测找平衡,而且给了一条取向性的建议:让 agent 一开始安静,然后慢慢挣到用户的注意力。这节也是零外链。
我把五个构件按零件列了一遍
把上面五节里的「最小实现」抽出来,能得到一张很朴素的清单。这是我拆完后自己整理的,文档里没有这张表:
- 数据库表三张:事件收件箱、定时器表、发件箱表
- 文件目录一个:记忆,映射到数据库或对象存储
- 代理一个:凭据注入
- 后台服务两个:worker 和调度器(dispatcher 是第三个,但文档说多数团队可以不要)
没有别的了。十二个月前的「agent 平台」常见架构是一堆中间件、一堆抽象层,这份文档给出的答案是一张零件单,零件全部是通用后端组件。
再看一眼它的引用结构
顺手数了一下这份文档的外链分布,结果比正文更能说明它是什么:
- 事件收件箱:0 条外链
- 定时器:0 条外链
- 记忆(含上下文窗口小节):5 条外链
- 权限:4 条外链
- 发件箱:0 条外链
合计 11 条外链,其中 10 条指向 Anthropic 自家域名(anthropic.com、claude.com、code.claude.com、platform.claude.com),剩下 1 条指向 modelcontextprotocol.io。
数和内容合起来看,有个不对称很显眼。收件箱、定时器、发件箱这三节,外链为零,内容也最满:收件箱给了四条最佳实践加两张图,定时器给了三步调度逻辑,发件箱给了何时需要正式 outbox 的判断。这三节的价值是完整的,你照抄就能开工。
记忆和权限这两节,内容最薄的地方恰好也是指向自家产品最多的两节。记忆的三个文件类型、权限的凭据代理想法,都是先给一句话,然后把细节交给另一份文档。而权限这一节最极端:文档说它风险最大,它却既没有失败模式、也没有图示,给你的是四个指针。
我把这个结构读成一次有意为之的取舍。凡是通用零件,写清楚,因为写清楚不损失什么,那些零件谁都能自己搭。凡是可以指向自家产品的地方,指出去,因为在那里写清楚,等于把自己的产品替别人省了一次选择。这份文档的实际作用,是在你决定搭的那一刻,让「每个零件该用谁家的」这个问题在 Claude 的文档里找到答案。
那笔省 78% 的账
文档在开篇用它当论据,说明这波常驻 agent 复兴是模型进步带来的。原句是这样的:
on one long-horizon coding benchmark, Opus 5.5 cost 78% less per solved task than Opus 5, compared with 40% less on typical workloads.
我把这个数拆了一下,因为它比看上去更容易被误读。
先说口径。这是一个每解决任务成本(per solved task)的数字,不是每 token 价格。两者的差别在常驻 agent 这个场景里特别大。每 token 价格是单价,每解决任务成本是单价乘上「要花多少轮才搞定」。一个模型如果成功率提高,即使单价不动,每解决任务成本也会掉。
再看它自己给的对照。78% 是在一个长程编程基准上,常规负载是 40%。换成倍数更直观:78% 降幅相当于成本变成原来的 0.22,也就是便宜了 4.5 倍;40% 降幅相当于变成 0.60,便宜 1.67 倍。长程那一档比常规那一档多出来的收益,接近三倍。
这个差额从哪来。如果是同一次生成的 token 更便宜,两档应该按同样比例下降。两档差这么多,说明长程这一档多出来的收益来自成功率。任务越长,失败一次重来的代价越大,而解决率一提,重来的次数就少了。
有一点让这个数字更值得一提。Anthropic 自己的成本文档里写着一句方法论:「Compare on cost per completed task, not per token.」这份指南引用的正是这个口径下的数字,也就是说它符合自家文档的规定,挑不出毛病。但同一份成本文档也写着,实测里最有效的杠杆是 prompt caching,原文用了「usually the largest lever」,而换模型属于「tradeoff」那一类,是拿成本换智力,不是免费拿到的收益。
所以我的读法是:78% 是一个真实的数,成立条件也写得很清楚,只不过那个条件恰好是常驻 agent 最想要的条件,长程加可判定成功。它不该被拿去预测账单会降 78%。要省那一部分,先看你有没有那个「可判定成功」的评测,没有的话它就落不到你身上。
文档没有回答的四个问题
这份文档有实测案例支撑,写的是能落地的架构。但有几处它停得比较早,我列一下,因为这决定了你能照抄多少。
它没有回答「事后怎么证明它做过什么」。五个构件里,收件箱管入口、定时器管节奏、记忆管知识、权限管风险、发件箱管出口,没有一个是记录层。而整套架构的前提是无人值守,人不在场,事后要复盘就只能靠 session 和记忆。文档对 session 的描述是「消息和工具调用的记录」,但没讲这份记录留多久、谁能读、怎么防篡改。这件事在个人项目里不重要,接进团队流程之后会变成第一个被问到的问题。
它把提示词注入的检查点放在入口,没放在记忆。收件箱那节说深检查放到 run 里做,这是对的。但记忆是跨 run 的持久注入面,一段被写进记忆的外部内容,下一轮 run 一定会被加载。文档把记忆当成需要维护的知识,没把它当成需要设防的输入通道。
延迟工具调用没有兜底。文档讲得很清楚:调用被挂起,run 结束,会话保存,等答案作为事件回来。但如果用户一直不回答呢。会话挂着、状态挂着的那个 run 怎么收尾,文档没说。
多租户那一层只给了一句。文档建议「一个用户一个收件箱」,也提到需要更多并行度可以再拆。但它没展开 worker 拿着用户访问权限去跑这件事在多租户下怎么隔离,而这恰好是权限那节刚说完风险最大的那个点。
护城河在哪
上面那张零件单,任何有后端经验的团队两周内能搭出来。三张表、一个目录、一个代理、两个后台服务,全是通用组件,没有一样需要专门的知识。
AI Insiders 对这份文档的判断是这句话:护城河会落在判断和调优上,不在管道上。我同意,而且想往下推一步。
如果管道不是护城河,而这份文档又把管道免费公开了,那它的实际效果是把竞争整体推到「判断力」这一层。而在常驻 agent 这个架构里,判断力是哪个零件。收件箱没有判断力,定时器没有,发件箱没有,记忆靠的是筛选规则,权限靠的是分类器。唯一在生产判断的是模型。
所以这份指南的落点是可以推出来的。它把一个原本可以靠「帮你搭常驻 agent」收费的中间层拆成公开配方,同时把配方里唯一自建不出来的零件留在了自己手里。它不是无私分享,也不是藏私。它是在做一件更有效的事:把整个品类的价值集中到它卖的那一环上。
对做这一类中间件的团队,含义也很直接。如果你的卖点是「帮你把常驻 agent 搭起来」,那这个卖点今天已经没有定价依据了,因为配方刚被免费公开。能活下来的位置在配方两边的极端:一端是真正难自建的那部分,另一端的交付和运维。中间那层最容易被一份文档抹掉。
相关阅读
凭据不进 agent 环境、在出口处替换,这套做法站内已经拆过两次,只不过主角不是 Anthropic。《Google Agent Compute Engine 拆解》里那台 microVM 就是「没有钥匙」的设计,《devvm 上手指南》则是把同一套思路落在本地开发环境上。Anthropic 这次的增量在于,它把这件事从某家产品的做法提升成了推荐标准。
记忆那一节的文件目录加索引、按需拉取,和《claude-mem 拆解》里那个把会话捕获、压缩、回注的层是同一类问题。区别是 claude-mem 在解决怎么存,这份指南在解决该存什么。