跨国深谈← 返回←把画布交给智能体：TLDraw 的空间协作实验

把画布交给智能体：TLDraw 的空间协作实验

关联

人物 Max Drake

公司 TLDraw

概念 智能体 · 多智能体协调 · 编码智能体 · Claude Code · Canvas · Fairies · Agent Starter Kit · TechTree 应用

这一集是 TLDraw 的产品工程师 Max Schraich 的现场演讲，主题是「画布上的智能体」。TLDraw 你可能用过——它是一个免费的无限画布白板应用，总部在伦敦；但它更重要的身份是为很多无限画布体验提供动力的 SDK 引擎——想把画布部分做对(选择、缩放、箭头这些)其实非常难，所以 Replit 全新的智能体画布功能就构建在 TLDraw 之上 。

开场他先现场演示了一个「极限测试」：让智能体读同事 Spencer 发来的邮件链接，找到 Notion 文档里的规格说明，然后在 TLDraw 桌面应用上把那个演示构建出来——全程不用人碰键盘。这个演示直到演讲结束还在跑，他坦言「它已经跑了 13 分钟了…

…它通常快得多」。

为什么智能体天生不会「看」画布

Claude Code 这类编码智能体之所以好用，是因为它们工作的媒介——写代码——本质上就是它们被训练的媒介：文本进、文本出 。而画布完全是另一回事：他问观众有没有试过让智能体对齐一个 UI 元素，结果发现它们完全做不到。智能体在 2D 空间中工作和理解 2D 空间非常非常糟糕，要让它做到需要大量工程工作 。

第一步：教会 LLM 「看懂」画布(Teach 项目)

TLDraw 做的第一个项目叫 Teach,核心是教会 LLM 如何同时通过截图和画布的 JSON 数据来理解画布上实际有什么——「这不是一个简单的问题」。演示很有说服力：他在画布上画了几根蜡烛和一个鼠标形状，只说一句「让鼠标吹灭蜡烛」，模型就自己造出了风和烟、摆对了位置——而这些全都是普通形状，不是什么特殊的鼠标图形。这是单次提示词完成的。

第二步：从单次提示到智能体式工作(Agent Starter Kit)

单次提示不够，他们又做了 MIT 许可的 TLDraw Agent Starter Kit,把「看懂画布」包进一个让智能体自主工作的框架。演示：画布上有一只小猫，他让智能体「在画布其他地方找到猫的朋友，带一只过来，她最喜欢的颜色是红色」。智能体自己缩放视图去侦察画布上有什么、给自己列了待办目标——就像你问编码智能体「这个东西定义在代码库哪里」，它会自己搜索找到一样 。

第三步：Fairies——多智能体在画布上协作

接下来是 Fairies 项目：每个「小仙子」是一个智能体，在画布上以可爱的形象出现(可以换帽子、换颜色，甚至有个「腿长滑块」——他强调这不傻，当多个智能体同时在画布上工作时，分清哪个是哪个很重要)。最关键的演示是多智能体协调：他全选了几只小仙子，相当于开了一个「智能体群聊」，然后说「我 10 分钟后有董事会会议，把我 2025 财年的财务数据画成备忘录」。结果：一只小仙子自动成为「编排者」，写出了计划、把任务分配出去，然后等待其他小仙子完成，完成后会被通知去审查 。

他点出这套交互的真正价值：如果有 10 个智能体在干活，你不需要去读聊天记录才知道发生了什么——直接看智能体在画布上的状态就行 。画布上让人类协作舒服的一切(光标、视口、实时同步)，同样让它成为与智能体协作的绝佳场所 。

跳出画布：TechTree 和「拿桌面应用当窗口管理器」

Fairies 的局限是「被困在画布里」——整个 harness 必须是画布 harness,很难和真实世界的东西配合。于是两个延伸：

TechTree 应用：TLDraw 内部接近发布时会抛弃所有任务管理软件，手画一张巨大的依赖图。他做了个原型，让依赖图里的每个任务节点都是一个可启动的编码智能体，自主干活、开 PR、合并，而且多人协作——同事可以直接进来加任务、看进度。代码全是智能体写的，他自己一行没写。

桌面应用即脚本环境：TLDraw 桌面应用在本地运行，暴露出编辑器实例，带一个服务器，让任何智能体(比如 Claude Code)直接对着编辑器写纯 JavaScript——相当于把桌面应用变成脚本环境。同事的玩法更野：把 TLDraw 桌面应用当窗口管理器，让 Claude Code(它能访问真实电脑)画矩形、写 AppleScript 去真的移动窗口，甚至用真实窗口玩 Pong。他的结论是：你能拿到画布的全部基础元素、做出那些奇怪的空间界面，同时让智能体在真实世界里工作、访问真实数据 。

本集带走

• 智能体搞不定 2D 空间，但可以教：编码智能体好用是因为「文本进、文本出」正好匹配训练媒介；要让它们在画布上工作，得同时喂截图和结构化数据(JSON),教它理解看到的是什么、以及它的动作会怎么改变画布。
• 画布是比聊天窗口更好的智能体界面：多个智能体并行干活时，不用读任何聊天记录，直接看画布上的状态、任务、动画就知道谁在干嘛、谁在等谁。
• 多智能体协调可以在画布上自然涌现：全选一组智能体当「群聊」发指令，就能让其中一只自动成为编排者，分配任务、等待完成、再审查。
• 画布不必是牢笼：把桌面应用暴露成脚本环境，智能体既拥有画布的空间界面原语，又能操作真实文件、真实窗口——从白板工具变成能干实事的临时 UI。
• 画布本身就该是「和智能体协作的场所」：这是他的核心主张——远程办公时代我们已经在画布上和人协作，和智能体协作也应该是同一件事。

【背景】TLDraw 是一家总部在伦敦的公司，旗下有同名无限画布白板应用，并向第三方提供构建画布类产品的 SDK;Replit、幻灯片设计器等产品都基于它构建。