爬坡 (hill climbing)
集里怎么说它
- 《管理者日程突然能写代码了：CTO 的通宵智能体工作流》(06:58起):本集说 hill climbing 就是自动迭代提示词直到评估分数上涨,他们的内部代码审查器就是靠隔夜爬坡把质量提上去的
- 《让智能体自己研究自己:Weights & Biases 的 ARIA 评估飞轮》(02:42起):本集说他们把生产轨迹抽进离线评估框架里做爬山优化，正向爬坡也很有用——不只修错误，好行为也要固化。
① 提到它的金句
6 条
然后第三，创建你自己的持续学习循环，爬坡机器，它将让你的 AI 投资为你的公司复合增值。
指向原始笔记的链接
And then three, you create your own continuous learning loop, hill climbing machine that will allow your AI investments to compound the value of your firm.
—— Harrison Chase · [09:52]
如果你只围绕某个特定的 LLM 裁判去爬山，你很可能是在对它过拟合。
指向原始笔记的链接
And if you’re only hill climbing on a specific LLM judge, you’re probably overfitting on it.
—— Vishu · [07:35]
同理，如果你只用一个很小的 eval 集去爬山，你的 prompt 很可能开始只是镜像那些 eval 示例。
指向原始笔记的链接
Same if you’re only hill climbing with like a small eval set, your prompt is probably going to start to mirror just those eval examples.
—— Vishu · [07:41]
它最终大概会发生,但实验室们似乎对在其他方面爬坡更感兴趣,比如计算机使用和其他前沿领域——软件可维护性那最后 10% 可能和过去三四年我们花功夫的前 90% 一样难,甚至更难。
指向原始笔记的链接
It will probably eventually happen, but it seems like the labs are much more interested in like hill climbing on other sorts of things like computer use and other like frontiers that like the last 10% of software maintainability may be like as hard or harder than the whole first 90% that we spent the last three or four years on.
—— Dex Horthy · [06:30]
评测是一种让你能够持续朝着单一目标攀爬的方式，这个目标就是智能体质量。
指向原始笔记的链接
Evals are a way for you to continue hill climbing against one target, which is agent quality.
—— Hossein · [06:41]
不，我觉得我们在 RL 上真正拥有的，本质上是一台爬山机器。
指向原始笔记的链接
No, I think it’s actually what we have with RL is we essentially have a hill climbing machine.
—— Yash · [25:30]
② 出现在这些集
2 集
- 《管理者日程突然能写代码了：CTO 的通宵智能体工作流》 — 作为概念
- 《让智能体自己研究自己:Weights & Biases 的 ARIA 评估飞轮》 — 作为概念(提及)
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · Claude Code · 评估 · 沙箱 · Hursh Agrawal · Zubin Aysola · The Browser Company · Weights and Biases · DIA · ARIA