跨国深谈← 返回←Google Earth 之父的下一站：给真实世界建一个 4D 模型

Google Earth 之父的下一站：给真实世界建一个 4D 模型

关联

人物 Brian McClendon

公司 Niantic Spatial · Google Earth · Google Maps

概念 四维世界模型 · 视觉定位 · Gaussian Splats · 仿真到真实 · 数字分身 · 自检机制 · 智能体工程 · AI

把一栋建筑、一座城市乃至整个世界数字化，不只是拍一张快照——而是要造一个能回答「1 月 3 日这里是什么样」的时光机。说这话的人是 Brian McClendon,他做了十几年 Google Maps、是 Google Earth 背后的工程师，现在担任 Niantic Spatial 的 CTO。这一集他聊的正是他们的核心目标：对世界的四维视图——3D 空间加上第四维「时间」。

从一张照片定位到半米以内

Niantic Spatial 刚落地的核心能力是视觉定位：给这个空间建一张视觉定位地图后，你在这个空间里拍的任何一张照片，都能通过特征匹配定位出你在哪里——误差正负几厘米、角度误差几分之一度；宏观上「半米、半度，轻松做到」。

这套能力的关键要素是数据采集方式的剧变。过去要靠带 LiDAR(激光雷达)的测量扫描仪，推着三脚架在空间里慢慢走；如今拿一台 360 相机走五分钟，就能建出同样精确的 3D 重建模型——既能进 VR/AR 逛，又能直接生成定位地图。

真正的跃迁来自机器学习模型。他们训练的 FMVS 深度模型能从单张照片估算出足够精确的深度，让以前「以那种输入密度根本无法重建」的东西变得可重建。更妙的是，这激活了几十年积攒的旧数据遗产：「我们可以拿 20 年前的照片和视频，做一些 20 年前不可能做到的重建」——用旧视频构建 3D 模型。

4D 模型要解决什么

「Google Earth 就是世界的一个快照」——为人类看地图，这个任务基本做完了，McClendon 自己的评价是「Google Earth 已经足够好了」。但城市、工厂、建筑工地真正的需求不是看，而是回答：两个日期之间什么变了？

那个水泥搅拌机为什么从 A 区挪到了 C 区？这起事故为什么发生？

具体场景他举了建筑工地：现有公司只是拍下第一天、第二天，让你拖滑块肉眼对比——「人们其实并不想那样做」。他们想要的是一份自动报告：「水泥搅拌机在第二天期间的某个时候从 A 区移到了 C 区」；再把这些变化提炼分类，哪些琐碎无关、哪些是完全违反安全规定、需要立即纠正。

这背后的方法论是：把企业积攒多年的一堆杂乱照片，组织成可以当数据库来查询的东西，而不是一堆照片。

给机器人造仿真训练场

地图是从为人类服务延伸到为机器人服务的。McClendon 的教训来自 Google Maps 时代：人眼能容忍一定误差，但「机器人非常字面化」，做不对就会绊倒、穿墙。而当前机器人训练的最大瓶颈恰是 sim-to-real(仿真到真实)：只在计算机生成的仿真环境里训练，机器人被微调得太贴合仿真，「送到真实世界，突然之间事情就对不上了」。

他们的解法是用 Gaussian Splats(一种新的 3D 渲染技术：不用三角形网格贴图，而是用一个个大小可变、记录了「每个视角下颜色」的元素来还原场景，反光、透明效果都更逼真)把真实房间精确捕捉、重建，打包成 USDZ 文件——内含 splat 本体加碰撞检测网格——一键下载进 NVIDIA 的 Isaac 机器人仿真器，让机器人在「和真实世界视觉一致」的环境里训练。

AI 只擅长「可自检」的问题——所以要把问题设计成可自检的

这是本集最值得工程师带走的观点。「那些可以自我检验的问题，AI 可以持续钻研」；但 AI 解读视觉信息相当糟糕——「如果你只是说，这是一张图片，它有什么问题，它们在这方面就非常糟糕」。所以打造好的 AI 问题求解器有两面：找到问题，以及在解这一侧构建自检机制——测试数据集加标准答案，「在你用这个数据集取得成功之前，你就还没完成」。

由此引申到工作方式：「并不是所有问题都能在短期内被 AI 解决，但其中一部分可以。而如果你能成功地把你的问题空间设计成有利于 AI 的方式，你就会很快得到一个人类还没想到的解决方案」。主持人把它总结为新一代「智能体工程」的关键能力：用钩子或测试集让 AI 自我验证，输出才有可靠性。

更进一步，他认为软件开发的形态会因此改变：不再朝目标随机推进，而是优先挑选那些答案可知、容易解决的问题做，「直到 AI 变得足够聪明，你再抬高门槛」。

长期愿景与未解难题

现实的难点是规模化：给一个房间建 4D 模型是「一台机器、一个程序员加大量苦工」的事，但 Rancho Cordova 市有约 50 平方公里要覆盖，「他们甚至不知道自己拍的照片都在哪里」——大规模采集、组织、建模是下一批未解问题。

而终点线令人神往：正如大语言模型从人类知识里挖出了人类没见过的洞见，物理世界组织方式中也藏着尚未被发现的洞见。他举了 Earth Engine 的例子：有了全世界所有河流 30 年的卫星数据，有人第一次通用地解决了河流蜿蜒问题——「这个话题此前只有零星的攻击，从未被系统性地攻克过」。

他相信 4D 世界模型会在每一个信息层级上催生同类成果。Google 做过的最大「时光机」是 1984 年以来每 10 米一个像素的卫星影像；「我们想做的，是每 10 厘米一个像素」。终局是让 AI 具备查询真实世界的能力。

本集带走

• 让 AI 干活先造自检机制：AI 只能在「可自我检验」的问题上持续钻研；给它测试集和标准答案，答不出就是没完成——这是让智能体输出可靠的前提。
• 把问题空间设计得对 AI 友好：挑答案可知的子问题先做，能很快得到人类没想到的解；AI 变强后再逐步抬高问题难度。
• 旧数据是新资产：新的深度估算模型让 20 年前的照片、视频都能做 3D 重建——历史影像从死库存变成可用数据。
• 刷 token 没用，要懂每个模型擅长什么：各代模型在某些类别上「上下跳动」而非逼近完美；也别盲目开三个模型互相打——它们可能一起相信同一个幻觉。
• 别为用 AI 而用 AI:一是学不到东西，二是 AI 有根本性盲区，你可能花光所有钱去对抗它们。

【背景】Gaussian Splats 技术由 2023 年 SIGGRAPH 论文提出；McClendon 在访谈中口述为「2024 年」并称论文来自 SIGGRAPH,本集以其口述为准。Niantic Spatial 是 Niantic 拆分出的地理空间技术公司，《宝可梦 GO》开发商 Niantic 的姊妹公司。

而如果你能成功地把你的问题空间设计成有利于 AI 的方式，你就会很快得到一个人类还没想到的解决方案。
And if you can successfully design your problem space in a way that’s conducive to AI, you’re going to get a solution quickly that humans hadn’t thought of yet.
—— Brian McClendon · [27:43]

我认为 AI 在总体上有一个特点，就是那些可以自我检验的问题，AI 可以持续钻研。
One of the things that I think AI has in general is that problems that are self-checkable, AIs can grind on.
—— Brian McClendon · [26:40]

你也不应该盲目地同时开三个让它们互相争斗，因为它们很容易让自己全都相信同一个幻觉。
And you shouldn’t just blindly turn on three of them fighting each other because they can easily all convince themselves of the same hallucination.
—— Brian McClendon · [37:35]

真实世界不像那个仿真那么清晰锐利。
The world is not as sharp and crisp as that simulation.
—— Brian McClendon · [16:12]

我们可以拿 20 年前的照片和视频，做一些 20 年前不可能做到的重建。
We can take photos and video from 20 years ago and do reconstructions that were not possible 20 years ago.
—— Brian McClendon · [08:25]

如果数字孪生做得足够好，我们将能够把世界表征到这样的程度：你不会知道自己并不在那里。
If the digital twin gets good enough, we will be able to represent the world enough that you won’t know that you’re not there.
—— Brian McClendon · [32:46]

因此我觉得你会发现，我们将不再朝着目标终点随机地开发软件，而是会为那些容易解决的问题做优化，直到 AI 变得足够聪明，你再抬高门槛说：好，现在也许你可以瞄准这么高的目标了。
And so I think that you’ll find that we’re going to start developing software not in a random line towards the target of destination, but we are going to optimize for those problems that are easy to solve until AI gets smart enough that you raise the bar and say, okay, now maybe you can go aim at this high.
—— Brian McClendon · [39:39]