① 他说过的话

12 条

失败不在于模型本身。失败在于我给了智能体无限制的权力，去做一件我没有非常密切盯着的事情。
The failure wasn’t the model itself. The failure was that I was giving the agent unbounded amount of power to do something that I wasn’t watching super intently.
—— Sachin Malhotra · [03:18]

指向原始笔记的链接

所以核心点是，你需要暂时停止思考资源，而去思考动词。
So the core point is that you need to stop thinking about resources for a second and think about verbs.
—— Sachin Malhotra · [06:09]

指向原始笔记的链接

一个真正的 bug 可以带着绿色勾选进入生产环境，而且直到很久以后都没人会注意到它。
A real bug can actually walk into production with green checks and nobody would notice it until much later.
—— Sachin Malhotra · [06:50]

指向原始笔记的链接

核心点是，允许列表并不会随时间变得更好。它们会变得过时，但绊线会随时间变得更好。
The core point is that allow lists don’t really get better over time. They can get stale, but tripwires do get better over time.
—— Sachin Malhotra · [10:57]

指向原始笔记的链接

而这一点很重要，因为一个没人看到的绊线实际上毫无用处。
And that part’s important, because a tripwire that nobody sees is practically useless.
—— Sachin Malhotra · [11:17]

指向原始笔记的链接

它实际上更像烟雾报警器，而不是门上的锁。
It’s effectively the smoke detector, not the lock on the door.
—— Sachin Malhotra · [11:27]

指向原始笔记的链接

而第二把钥匙不是智能体自己持有的东西，它必须是另外某个人。
And the second key is not something that the agent holds itself, it has to be someone else.
—— Sachin Malhotra · [12:55]

指向原始笔记的链接

文本可以塑造意图，但任何地方都没有强制执行。
Text can shape the intent, but there is no enforcement anywhere.
—— Sachin Malhotra · [16:02]

指向原始笔记的链接

它做不到的是解释为什么，而且一个聪明的提示词注入也没法真的说服它放弃规则本身。
What it can’t do is explain the why, and a clever prompt injection cannot really talk it out of the rule itself.
—— Sachin Malhotra · [16:28]

指向原始笔记的链接

现在，在这种情况下，你在技术上其实没有一个速率限制。你只有一个建议。
Now, in this case, you technically don’t have a rate limit. You just have a suggestion.
—— Sachin Malhotra · [18:19]

指向原始笔记的链接

有了代理在链路中，智能体永远不能说它是谁。代理已经知道了。
With the proxy in the path, the agent never gets to say who it is. The proxy already knows.
—— Sachin Malhotra · [18:23]

指向原始笔记的链接

如果你把这一条规则做对了，其他一切都只是调优。
If you get that one rule right, everything else is just tuning.
—— Sachin Malhotra · [19:29]

指向原始笔记的链接

② 出现在这些集

1 集

• 《给智能体预算，而不是令牌：Anthropic 的智能体安全上生产之道》 — 作为嘉宾

③ 他谈到的

点进去有真内容 —— 本页主要出口

Anthropic · 智能体 · CI-CD · token · 速率限制 · 绊线 · 允许列表 · 非对称动词 · 撤销测试 · 代理

④ 也在聊「智能体」的人