人在回路 (human in the loop)
集里怎么说它
- 《三位 AI 智能体公司 CEO 圆桌:从 Copilot 到智能体,还要几年?》(22:00起):本集把它说成:按可逆性分级——可逆操作智能体做、完全不可逆的必须人批准,今天生产环境的智能体更像自动驾驶汽车,按复杂度、敏感度和监管分级决定人何时介入。
- 《当攻击用 AI、防守靠智能体:Abnormal 与 Cogent 聊智能体网络安全》(14:27起):本集说企业最终会按风险分层:笔记本电脑和开发环境可以端到端自主,最关键的生产服务器仍要人在回路;战略级大决策仍需要很多人在会议室反复辩论。
- 《n8n 创始人 Jan:把代码送出去,反而做到 1 亿欧元 ARR》(17:51起):本集说关键操作(发邮件、建日历事件)执行前必须经人工批准,AI 只能做你定义过的事、不会失控——这正是大组织敢把 n8n 用于业务关键场景的原因。
- 《AI 不抢工作,是找不到人:Lassie 如何用智能体接管小诊所的文书地狱》(16:29起):本集讨论中小企业使用工具的痛点时多次提及,指出小企业里根本没有人有时间坐在这套流程里当「回路中的人类」去操作工具,因此必须构建完全自主运行的系统。
- 《企业AI转型:效率不是终点,绞杀旧组织才是》(30:07起):本集说现有组织里大量审批、交接和层级传递是因为需要人在回路中来验证、确认、对齐、协调,而 AI 最大的机会空间就是减少这些环节,让更多人从开销角色转回价值生产者
- 《把智能体推向生产环境:为什么标准基础设施不够用》(09:11起):大多数重要任务绕不开的基础设施需求,要求运行时支持人类用户中断、停止或批准智能体的动作,并能将长任务的实时进度流式传输回前端持续更新状态。
- 《9亿美元管道背后:Unify CTO 谈怎么把销售智能体的成本打下来》(30:49起):本集说邮件绝不让智能体「没人看过就发出去」,采用提案-批准制、一次展示一封邮件;审前约 15 封给出泛化反馈后全发——人与人的连接点才是销售的 alpha。
- 《模型路由为什么还没解决:Amazon Nova 负责人的实话》(40:05起):本集说长远看迁移不需要太多人在回路里,但现实因为现代化需求而复杂,人需要在回路中建立信念和信任
- 《垂直 AI 创业的七步配方:护城河不是模型,是领域专业知识》(17:48起):本集说还早:金融和制药如今其实是「AI in the loop」——一切由专家完成,AI 负责省时间,最终判断仍在专家手里。
- 《芯片设计缺的不是智能,是对齐:给工程团队装一套共享神经系统》(06:04起):意图系统(组织的圣经)不允许智能体直接改动,任何变更都要经过人在环的批准;评估时也测量智能体是否越过人审边界。
- 《企业AI为什么卡壳:只有6%的大公司真正跑通了》(45:14起):本集讲智能体获得足够生产信任之前,人始终在回路里:模糊情况由人分诊、高风险操作由人确认、AI 洞见由人审查;信任建立后再逐步自动化高置信度操作。
- 《Canva 联合创始人:AI 把设计成本从零变成美分之后》(05:51起):本集说 Canva 是极少数让 AI 生成内容引用真人创作模板、并为此向创作者付酬(含署名)的平台,坚信「人在回路至关重要,尤其在创造力方面」。
- 《RAMP 的 GTM 编排实验:一句话意图,全渠道自动执行》(11:06起):本集提他们有 human-in-the-loop 工具:暂停执行、获取人类输入、再恢复
- 《Navan 架构师谈生产环境智能体:从运行时到护栏的实战分层》(09:23起):本集说当智能体的答案是推断出来的(置信度低、无多路径支撑),就安排人类在环来引导并调整智能体。
- 《智能体对智能体?其实是个搜索问题》(14:46起):本集把它列为第四种策略(人作为信息管道),指出其大问题是群发请求低效;但关键审批环节又必须有正确的人工介入。
- 《Stripe 内部公司大脑 Kai:让上万人放心把工作交给智能体的治理术》(00:59起):本集演示了敏感工作流里的人在回路审批:智能体要创建日历邀请时先弹出确认、由人点头,且按项目划定范围而非全场广播。
- 《不到10人管7个SaaS:让智能体替你做营销的实操系统》(44:11起):本集把它说成智能体工作流的信任节奏:邮件工作流前八周人工审读后才发,之后完全直接发;前两次给反馈、第三四次智能体就能自己搞定。
- 《Together AI 产品团队全公开:一套仓库让 PM 下指令就出生产级 PR》(17:09起):本集的流程划分:定义功能、API 表面积、抽象层等决策环节高度人在环,写代码、执行环节才自动化,产出标「草稿」必经人审
- 《采购这门「无聊脏活」,凭什么容得下万亿美元级 AI 创业公司》(11:12起):赢得企业信任的路径:没有企业第一天就上完全自主的谈判智能体,先让人在环、把反馈喂给智能体,客户才逐渐放行
- 《人是一个异步接口:冰淇淋配送背后的智能体架构》(01:59起):本集核心命题:人应该作为异步 API 被调用;何时让人在环要逐案例评估犯错的代价,尤其从安全角度,同时警惕警报疲劳。
- 《被判「死刑」一千次的公司:n8n 创始人谈为什么它没死》(14:21起):本集把它说成:可靠生产级 AI 的公式之一——发邮件、创建日历事件这类动作被设成必须事先获得用户批准才执行。
- 《你的 AI 智能体没有神经系统——所以它总是瞎忙》(13:25起):本集说任由智能体做所有事会是「相当混乱的世界」,Blue Box 的闭环最后一步由人拍板:是否把修复推上线。
① 提到它的金句
9 条
而对于我最关键任务的生产服务器,我仍然想要人在回路中。
指向原始笔记的链接
And for my most mission critical production servers, I still want a human in the loop.
—— Vineet Edupuganti · [14:27]
对我来说,AGI 是一个可以在没有任何人在循环中的情况下自我改进的模型。
指向原始笔记的链接
For me, AGI is a model that can improve itself without human in the loop in any way.
—— Jerry Tworek · [38:21]
我认为那部分将是困难的,但我认为那将是 AI 最大的机会空间所在,就是在那里的所有事情上减少人在回路。
指向原始笔记的链接
And I think that part’s going to be difficult, but I think that’s going to be where the biggest opportunity space is at with AI is to reduce the human in the loop on everything there.
—— Chris Blackburn · [30:21]
AI 审批的 PR 以及总体上 AI 编写的代码甚至可以比仅有人类在流程中所做的更安全、质量更高。
指向原始笔记的链接
AI approved PRs and AI written code in general can be even safer and even higher quality than what you’re doing with just a human in the loop.
—— Claire · [03:47]
从产品开发的角度看,我们的目标并不是让客户在没有人在环的情况下操作整个系统。
指向原始笔记的链接
The goal that we have from a product development standpoint is not to have a customer operate the entire system without a human in the loop.
—— Andrew Garvin · [07:18]
所以我们的看法是,做出决策的那部分,也就是定义功能、定义 API 表面积、定义抽象层,那些是非常需要人在环的,我亲自上手和 Claude 一起做。而写代码、执行的部分,才是被自动化的部分。
指向原始笔记的链接
So the way we see it is the part which is where the decisions are being made, right, which is defining the feature, defining the API surface area, the abstraction layer, those are very human in the loop, right, where I’m hands on with Claude. And the code writing part, the execution part, is actually the part which is automated.
—— 嘉宾 · [16:57]
我从来没有见过一个提示词或一个确定性工具,能够在没有人类参与的情况下,以任何有意义的方式驱动代码库的可维护性并对抗模型写出不可维护代码的倾向。
指向原始笔记的链接
But I have never seen a prompt or a deterministic tool that can drive code-based maintainability and fight the model’s tendency to write unmaintainable code in any meaningful way without a human in the loop.
—— Dex Horthy · [27:15]
我觉得这里愤世嫉俗的循环是:做一个 demo,融一笔种子轮或 A 轮,说你会把它做可靠,最后却从来没有把它做可靠,然后转而做一个 human-in-the-loop 版本的东西,而不是真正把这个任务自动化。
指向原始笔记的链接
My cynical loop here is make a demo, raise a seed or series A, say that you’re going to make it reliable, never end up making that reliable, pivot into a human-in-the-loop version of this thing instead of actually automating the task.
—— Diogo Almeida · [17:33]
花了几个小时就超越了我们在有人参与的情况下做了两年的工作。
指向原始笔记的链接
It took a few hours to outperform the two years of work which we’d done with human in the loop.
—— David Silver · [31:02]
② 出现在这些集
22 集
- 《三位 AI 智能体公司 CEO 圆桌:从 Copilot 到智能体,还要几年?》 — 作为概念
- 《当攻击用 AI、防守靠智能体:Abnormal 与 Cogent 聊智能体网络安全》 — 作为概念
- 《n8n 创始人 Jan:把代码送出去,反而做到 1 亿欧元 ARR》 — 作为概念
- 《AI 不抢工作,是找不到人:Lassie 如何用智能体接管小诊所的文书地狱》 — 作为概念
- 《企业AI转型:效率不是终点,绞杀旧组织才是》 — 作为概念
- 《把智能体推向生产环境:为什么标准基础设施不够用》 — 作为概念
- 《9亿美元管道背后:Unify CTO 谈怎么把销售智能体的成本打下来》 — 作为概念
- 《模型路由为什么还没解决:Amazon Nova 负责人的实话》 — 作为概念(提及)
- 《垂直 AI 创业的七步配方:护城河不是模型,是领域专业知识》 — 作为概念
- 《芯片设计缺的不是智能,是对齐:给工程团队装一套共享神经系统》 — 作为概念
- 《企业AI为什么卡壳:只有6%的大公司真正跑通了》 — 作为概念
- 《Canva 联合创始人:AI 把设计成本从零变成美分之后》 — 作为概念
- 《RAMP 的 GTM 编排实验:一句话意图,全渠道自动执行》 — 作为概念(提及)
- 《Navan 架构师谈生产环境智能体:从运行时到护栏的实战分层》 — 作为概念
- 《智能体对智能体?其实是个搜索问题》 — 作为概念
- 《Stripe 内部公司大脑 Kai:让上万人放心把工作交给智能体的治理术》 — 作为概念
- 《不到10人管7个SaaS:让智能体替你做营销的实操系统》 — 作为概念
- 《Together AI 产品团队全公开:一套仓库让 PM 下指令就出生产级 PR》 — 作为概念
- 《采购这门「无聊脏活」,凭什么容得下万亿美元级 AI 创业公司》 — 作为概念
- 《人是一个异步接口:冰淇淋配送背后的智能体架构》 — 作为概念
- 《被判「死刑」一千次的公司:n8n 创始人谈为什么它没死》 — 作为概念
- 《你的 AI 智能体没有神经系统——所以它总是瞎忙》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · Anthropic · Claude Code · 沙箱 · OpenAI · 护栏 · harness · 评估 · MCP · 工作流
