别迷信大上下文:拆解 Claude 认证架构师考试的反模式
关联
人物 Frank Coyle
公司 Anthropic
概念 Claude 认证架构师考试 · 智能体 · 循环 · 停止原因 · 反模式 · 上下文溢出 · 上下文分叉 · Model Context Protocol · Claude Code · LLM
编程不再是通往工作的神奇路径了——因为 AI 来了。说这话的人是 Frank Coyle,一个教了 30 多年计算机科学、现在在伯克利教书的老师。面对被 AI 冲击的学生,他最近找到了一个帮助大家入门智能体 AI 的抓手:Anthropic 在今年 3 月推出的 Claude 认证架构师考试。
在这一集里,他带大家拆解了这场考试到底在考什么。考试对个人开放,花 99 美元每半年能考一次。
它不是简单的选择题,而是基于真实的业务约束和场景。考纲分成五个领域:占 27% 的智能体架构、占 20% 的 Claude Code 配置与工作流、提示词工程(比如到处用 JSON 结构化输出)、工具设计与模型上下文集成,以及上下文管理和可靠性。
官方会给你提供六个生产场景,考试随机抽四个来考你。接下来我们就顺着这些场景,看看 Anthropic 认为什么才是合格的智能体设计。这一集的灵魂不在于教你怎么拿分,而在于点出那些会导致系统崩溃的反模式——弄懂了什么千万别做,你自然就知道该怎么做。
考试的第一个场景,是构建客户支持解决智能体。如今的 AI 圈子总爱把智能体挂在嘴边,Frank 提醒大家,大家追捧的所谓循环(让模型不断执行、反馈、再执行的动作)根本不是什么新鲜事。
早在 1966 年,计算机科学家就证明了,只要你有顺序执行、条件判断和循环,就能做到图灵完备(即能计算出计算机所能计算的一切)。如今的智能体能变得这么强大,正是因为我们给它补上了循环这个关键拼图。
但有了循环,第一个反模式就来了:千万别让智能体闷头干完活,直接把结果拿过来就用。你要做的,是让程序去监控模型的“停止原因”。
大语言模型本身做不了任何事,它只是个概率上的“下一个词预测器”,它没法自己执行工具。它真正做的,是把工具需要的参数提取出来交给你。所以当模型停下时,它返回的“停止原因”如果是工具使用,你的代码就得去真正运行那个工具,再把结果丢回给模型让它继续;如果“停止原因”显示 token(模型处理信息的最小单位)用完了,你就得知道这个回答是不完整的,必须采取干预措施。
说完了单兵作战的智能体,接下来的场景是:如果要多个智能体协同工作该怎么办?考试的第三个场景就是多智能体研究系统。
这里最大的反模式,是把所有工具都塞给同一个智能体。Frank 打了个比方:这就像你雇了个木匠来家里干活,结果他带着水管工、电工、木工的全套工具出现,说自己什么都能干。你真正需要的是专注干好一件事的专业木匠。
同样要命的,是让子智能体的上下文溢出到主上下文里。很多人觉得现在上下文窗口动辄上百万 token,大得装得下一切,于是就把所有东西都往里塞。
千万别这么做。因为上下文越多,意味着花钱越多,而且模型在给答案时也会越困惑、越不准。
Frank 特别提醒,当你把一群智能体凑在一起协作时,它们会产生像人类一样的群体思维(随大溜、不愿做破坏气氛的那个人)。所以正确的做法是做子任务隔离:每个智能体只拿到完成自己任务所需的切片信息。比如让评论者智能体去审查某个主张,你只把主张和证据给它,千万别把它背后一长串的思维过程也丢进去,否则整个系统很容易被带偏。
工具和人都齐了,面对具体的开发任务该怎么管上下文?这就是考试第四个场景开发者生产力要解决的。
这里的核心反模式,是让每个子任务把它完整的输出全都倾倒进主线程里,导致上下文无限制地膨胀。正确的做法是执行上下文分叉:把智能体赶到一个单独的线程里干活,无论它在那边怎么折腾、查了多少日志,那些庞杂的过程都不会回来污染主上下文。你只需要把最终提炼出的摘要带回来就行。
如果哪怕做了隔离,上下文还是不可避免地变大了怎么办?你可以监控 token 数量,当它超过比如 15 万时,主动运行一次压缩。
Anthropic 自带能把巨大上下文揉碎、浓缩的压缩算法。如果你觉得官方的算法不够贴合业务,你完全可以自己写一套自定义的逻辑,决定哪些信息必须保留。
那么,写好了的 Claude 程序怎么进入日常的持续集成流水线?最后这个场景同样藏着反模式:千万别在自动化流水线里开启交互模式。
因为一旦开启,Claude 会在半路上突然停下来问你:“我想做这个,行不行?”这在需要无人值守跑通宵的流水线里简直是灾难。
你要把它设置成一气呵成跑到底的模式。此外还有个省钱的实用技巧:如果不急要结果,你可以把任务打成一个批处理。
用这种方式,你能享受打对折的 token 成本——官方保证最迟在 24 小时内把结果交给你。你可以下班去睡觉、去度假,让任务自己慢慢跑就行。
本集带走
最后收个尾,这一集值得带走的是这么几层意思。第一,时代变了,计算机科学不再是包票,面对智能体 AI 的冲击,动手做、去实验才是唯一的出路。
第二,循环是智能体之所以拥有强大能力的基石,但在让循环转起来之前,一定要盯紧模型每一次停下来的“停止原因”,它是你判断该不该执行工具、或者有没有超限的关键信号。第三,也是最核心的一条,永远不要迷信那个庞大无比的上下文窗口。
不管你是在分配任务、调度子智能体还是处理子任务的输出结果,都要千方百计地做隔离、给切片、防溢出,必要的时候果断触发压缩。把多余的上下文挡在门外,你的系统才会又准又省钱。最后,上了流水线就彻底放手,去掉交互确认,用批处理换半价成本,这才是让 AI 真正替你打工的成熟姿势。
问题是 LLM 做不了任何事。
The problem is the LLM can’t do anything.
—— Frank Coyle · [08:53]
上下文溢出到主上下文,因为上下文意味着 tokens,tokens 意味着钱,而且你有越多的上下文,LLM 在给你答案时就会越困惑。
Context spill over into the main context because context means tokens, tokens mean money, and the more context you have, the more confused the LLM is gonna be in giving you an answer.
—— Frank Coyle · [13:11]
当你把一群智能体聚集在一起协作并互相交谈时,会有一种群体思维的趋势。
When you get a bunch of agents together collaborating and talking to each other, there’s a tendency to have group think.
—— Frank Coyle · [14:25]
顺着「智能体」挖下去
- 每块 GPU 多付 10 万美元插队:Speechify 创始人的算力账与战略悔棋同公司:Anthropic · 同概念:Claude Code、循环 (loop)、智能体 (agent)
- A16Z 消费投资合伙人 Anish Acharya:别怕“永久下层”,公司正在变成一串循环同公司:Anthropic · 同概念:Claude Code、循环 (loop)、智能体 (agent)
- Claude Code 负责人:写代码已被解决,下一步是什么同公司:Anthropic · 同概念:Claude Code、智能体 (agent)
换个口味
- Anthropic 联合创始人:安全为什么不是添头,而是 Claude 性格的来源同公司:Anthropic · 同概念:Claude Code、智能体 (agent)、模型上下文协议 (model context protocol)
- Claude Code 实战技巧:从提问到并行同公司:Anthropic · 同概念:Claude Code、LLM
- Claude Code 产品负责人:AI 时代 PM 的生存法则同公司:Anthropic · 同概念:Claude Code、智能体 (agent)
