跨国深谈← 返回←Ameya Bhatawdekar

① 他说过的话

5 条

架构跟随模型更新，而你的 evals 必须跟随你的架构。
And so, you know, architecture follows model updates and your evals have to follow your architecture.
—— Ameya Bhatawdekar · [04:41]

指向原始笔记的链接

你接过控制权，并把这种控制固化到你在模型周围构建的系统中。
You take the control and you bake that control into the system that you’re building around the model.
—— Ameya Bhatawdekar · [09:51]

指向原始笔记的链接

你期望某一套应用或用户交互能很好地工作，因为它们可以由你设计好的编排来完成，但当用户意图需要超出编排所规定范围的其他事情时，系统就会开始在接缝处崩裂。
You expect a certain set of applications or user interactions to work well because they can be fulfilled by the orchestration that you have designed, but when the user intent requires other things to happen beyond what’s specified in the orchestration, the system can start breaking at the seams.
—— Ameya Bhatawdekar · [10:55]

指向原始笔记的链接

因为归根结底，evals 才是那种描述你的系统应该如何运作的持久资产。
Because ultimately, it’s the evals that are sort of your durable asset that describe how your system is supposed to work.
—— Ameya Bhatawdekar · [18:14]

指向原始笔记的链接

在接下来的几个月、几年里，你将会对你的 AI 智能体做大量的「手术」。
You’ll be doing a lot of surgery on your AI agents in the coming months, years.
—— Ameya Bhatawdekar · [22:36]

指向原始笔记的链接

② 出现在这些集

1 集

• 《模型一换代系统就崩？evals 才是你该押注的持久资产》 — 作为嘉宾

③ 他谈到的

点进去有真内容 —— 本页主要出口

Braintrust · 评估 · 智能体 · RAG · React · 工具调用 · pass at k · pass wedge K · 记忆系统 · MCP

④ 也在聊「智能体」的人