计算机使用 (computer use)
集里怎么说它
- 《Daytona:为智能体造一台像笔记本一样的计算机》(32:26起):本集将其视为下一波 RPA(流程自动化),旨在解决知识工作者被困在老旧 Windows 传统应用中的痛点。Daytona 为此秘密押注,将以往需要 3-5 分钟启动的云上 Windows 沙箱缩短至秒级,允许智能体模拟人类登录网站、点击导出数据。
- 《Harness 工程:让智能体零人工写代码的实操》(35:44起):本集提到它是 GPT-5.5 中带来的超强力功能,嵌入在应用中的浏览器,使之前需要 Docker 容器加虚拟显示驱动的复杂方案完全过时
- 《当写代码变便宜,OpenAI Codex负责人说「品味」成了最贵的资源》(43:41起):本集说这是 Codex 在五月引入的功能之一,使应用能接管并操控你电脑上的专业软件,例如直接点按界面操作 Excel 或 Premiere Pro。
- 《Anthropic 平台负责人:Claude 平台的「三层蛋糕」与给 token 分工的「策略」》(35:58起):提到医疗公司在跟连 API 都没有的老系统打交道时,用 computer use(让模型操作电脑界面)做自动化
- 《让AI替你操作电脑和浏览器的三个实战用法》(00:20起):本集说它是让 AI 控制鼠标、键盘来操控整台计算机的能力,比浏览器使用范围更广,可通过 iPhone 镜像操控手机
- 《Anthropic 产品负责人:评估是新的 PRD,不反驳你的 AI 才是好 AI》(01:54起):本集将其描述为直接影响用户的核心能力之一,在它这种尚未成熟的模糊领域探索时,PRD 依然有其不可替代的价值。
- 《AI 当技术联合创始人:一个人怎么做时尚品牌》(01:29起):本集说 computer use 是让 AI 像人一样操作电脑软件的能力,Codex 单独生成 CAD 文件不行但通过它操作专业 3D 软件效果就很好
- 《管理者日程突然能写代码了:CTO 的通宵智能体工作流》(09:13起):本集说让模型自己操作屏幕点击,用来验证端到端流程是否真的解决业务问题;但嘉宾强调它替代不了自己亲手测试
- 《GPT-6 Astra 上手实测:它会用你的电脑了》(00:58起):本集说是 Astra 最被重点强调的能力:不只浏览器,还能操作 Excel、Figma、Blender 等复杂 UI,让 Claire 全程不碰电脑配好 CRM 工作流、生成缩略图。
- 《Grok Bot 如何三周引爆全球:从零孵化「有电脑的同事」》(23:45起):本集称计算机使用方面的改进是巨大解锁:bot 像人一样点击像素、填表单;现在已不错且快速变好,很快「计算机」概念会被完全从用户那里抽象掉。
- 《当智能体学会替你操作电脑:聊天即新浏览器》(13:46起):本集说成:让模型直接像人一样操作电脑屏幕的技能,配合 OpenAI 最新模型后「扔给它的事情几乎没有完不成的」,核心价值是不用再为每件事找 API。
- 《OpenAI 总裁 Greg Brockman:我们已进入 AGI 时代,而真正的瓶颈不是模型》(01:21起):Astra 最重磅的能力:让强化学习的环境就是屏幕像素、键盘、鼠标,与人类同样的接口,任何电脑任务都自动进入分布之内,不必再造 MCP 服务器和连接器。
- 《语音智能体不一定要说话:OpenAI 的三种语音交互模式》(05:59起):语音转动作的可推广终极形态:如果模型能做人类在电脑上做的一切,为什么不直接和整台电脑对话
- 《Warp CEO 的软件工厂:2000 个 PR 一个月,人成了瓶颈》(00:56起):本集说工厂智能体用它直接操作电脑界面,给完成的功能录视频展示按键操作,作为 QA 验证手段
- 《Claude Opus 5.5 实测:那个不烦人的 Claude 回来了》(05:23起):本集实测项之一:它发现工单链接错了公司并修好、拒绝不符行动手册的客户请求;但主持人最终仍觉得 Codex 的 computer use 好太多。
- 《软件工程正在变成「工厂工程」:Warp 创始人的自动化开发全景》(11:33起):本集把它说成工厂验证步骤的一种方式:构建 UI 时让计算机实际操作智能体生成的代码,产出视频和截图。
- 《软件工厂:让智能体闭环造软件,而不只是写代码》(14:49起):本集说计算机使用和智能体持久虚拟机环境的进步,让验证者智能体能够真正进入「竞技场」,在虚拟计算机里点击产品确认它真的能用。
- 《OpenAI DevDay 双专访:计算机使用 180 度大变样》(00:11起):本集主线:让智能体直接操作电脑界面完成任务。Ari 说它已「180 度大变样」,完成速度在大多数场景超过普通人,且进入智能体 API 供开发者构建。
- 《为什么99%准确率的浏览器智能体还是会失败》(02:49起):本集介绍的三种智能体接入浏览器策略之一:用一系列页面截图来表示浏览器
- 《当AI能替你建网站:一个OpenAI产品负责人的花式用法》(14:02起):本集把它说成:让模型直接操作电脑界面的能力;Kath 的 heavy rotation 网站用它去 Reddit 查看人们在分享和投票什么音乐
- 《Stripe 联合创始人:AI 智能体会重造互联网的商业逻辑》(01:19起):本集称之为『现实世界的终极向后兼容层』——不必等 DMV 加 MCP 接口,AI 直接操作现有界面;被视为 transformers→LLM→RL 之后的下一个离散跃升。
- 《用 Codex 做菜:从截图到自动化的六步烹饪法》(04:28起):本集演示 Codex 操控光标替人点按钮下载企业软件数据,说它最擅长没有编程接口的遗留桌面软件。
① 提到它的金句
6 条
我心想,我为什么不直接让 Computer-Use 去做这一整件事?因为我到了这个境界,意识到,哦,表单,我再也不用填了。
指向原始笔记的链接
I’m like, why didn’t I ask Computer-Use to do this whole task? Because I just got to this point where I realized, oh, forms, I don’t have to fill out anymore.
—— Demetrios Brinkmann · [22:15]
所以如果我们把这个推向极端,那就是:为什么不把每一种数据——编程、计算机使用、自我中心视角——都喂给同一个模型?我认为这就是我们如何得到最强机器人使用智能体的路径。
指向原始笔记的链接
So if we take this to the extreme, it’s like, why not feed every kind of data, coding, computer use, egocentric, into the same model? I think that’s how we get to the most capable robot use agent.
—— Ham · [25:00]
它最终大概会发生,但实验室们似乎对在其他方面爬坡更感兴趣,比如计算机使用和其他前沿领域——软件可维护性那最后 10% 可能和过去三四年我们花功夫的前 90% 一样难,甚至更难。
指向原始笔记的链接
It will probably eventually happen, but it seems like the labs are much more interested in like hill climbing on other sorts of things like computer use and other like frontiers that like the last 10% of software maintainability may be like as hard or harder than the whole first 90% that we spent the last three or four years on.
—— Dex Horthy · [06:30]
我们是在自己的计算机使用框架上训练我们的模型,所以使用模型分布内的那一套是有优势的。
指向原始笔记的链接
we train our models on our computer use harness, so there is an advantage to using the one that’s in distribution for the model.
—— Ari · [16:31]
计算机使用真正成为了一项足够成熟的技术,因为计算机使用是现实世界的终极向后兼容层。
指向原始笔记的链接
computer use actually becoming a mature enough technology because computer use is the ultimate backwards compatibility layer for the real world.
—— John Collison · [01:57]
好的 computer use 将被视为下一个跃升之一,因为它是世界其余部分的后向兼容层。
指向原始笔记的链接
Good computer use will come to be viewed as one of these next hops because it is the backwards compatibility layer on the rest of the world.
—— John Collison · [20:17]
② 出现在这些集
22 集
- 《Daytona:为智能体造一台像笔记本一样的计算机》 — 作为概念
- 《Harness 工程:让智能体零人工写代码的实操》 — 作为概念(提及)
- 《当写代码变便宜,OpenAI Codex负责人说「品味」成了最贵的资源》 — 作为概念
- 《Anthropic 平台负责人:Claude 平台的「三层蛋糕」与给 token 分工的「策略」》 — 作为概念(提及)
- 《让AI替你操作电脑和浏览器的三个实战用法》 — 作为概念
- 《Anthropic 产品负责人:评估是新的 PRD,不反驳你的 AI 才是好 AI》 — 作为概念(提及)
- 《AI 当技术联合创始人:一个人怎么做时尚品牌》 — 作为概念
- 《管理者日程突然能写代码了:CTO 的通宵智能体工作流》 — 作为概念
- 《GPT-6 Astra 上手实测:它会用你的电脑了》 — 作为概念
- 《Grok Bot 如何三周引爆全球:从零孵化「有电脑的同事」》 — 作为概念
- 《当智能体学会替你操作电脑:聊天即新浏览器》 — 作为概念
- 《OpenAI 总裁 Greg Brockman:我们已进入 AGI 时代,而真正的瓶颈不是模型》 — 作为概念
- 《语音智能体不一定要说话:OpenAI 的三种语音交互模式》 — 作为概念
- 《Warp CEO 的软件工厂:2000 个 PR 一个月,人成了瓶颈》 — 作为概念
- 《Claude Opus 5.5 实测:那个不烦人的 Claude 回来了》 — 作为概念
- 《软件工程正在变成「工厂工程」:Warp 创始人的自动化开发全景》 — 作为概念
- 《软件工厂:让智能体闭环造软件,而不只是写代码》 — 作为概念
- 《OpenAI DevDay 双专访:计算机使用 180 度大变样》 — 作为概念
- 《为什么99%准确率的浏览器智能体还是会失败》 — 作为概念
- 《当AI能替你建网站:一个OpenAI产品负责人的花式用法》 — 作为概念
- 《Stripe 联合创始人:AI 智能体会重造互联网的商业逻辑》 — 作为概念
- 《用 Codex 做菜:从截图到自动化的六步烹饪法》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · Codex · OpenAI · MCP · ChatGPT · Claude · Anthropic · Stripe · 技能 · 浏览器使用
