跨国深谈← 返回←当无人机变成基础设施：给机队下指令的人

当无人机变成基础设施：给机队下指令的人

关联

人物 Suchet Bargoti

公司 Skydea

概念 无人机基础设施 · 智能体 · 自主性 · 强化学习 · 世界模型 · VLM · 端到端训练 · 机坞 · 学习飞轮

这一集是一场现场演示:演讲者站在台上,用一台笔记本和键盘,同时指挥三架分布在加州、科罗拉多的无人机自主飞行——一架在城市上空巡查、追踪车辆,一架响应电力线火情,第三架从总部起飞。他合上电脑说:就算我现在关机,一切也会在幕后安全完成。说这话的人是美国最大无人机制造商 Skydio 的人,他们做的事叫「无人机基础设施」——数千架无人机停放在全国各地的机坞站里,服务电力公司、公共安全部门和建筑公司。

这不是概念演示,全是生产系统。有三个真实场景:

• 电力巡检:客户在发电站旁部署机坞做日常巡逻,无人机发现一根电线杆正从内部燃烧——随时可能倒下引发火灾,不派人到现场根本发现不了。
• 警方追踪:旧金山警局用无人机跟丢被偷的车。车里的人在换车牌、贴车膜,全程不知道自己被跟踪。警方因此可以战略性地选最安全的位置、在恰当时机介入,而不是来一场危险的高速追车。
• 规模上:机坞部署在阿拉斯加的严寒和德克萨斯的酷热里,可靠性要做到 99.9999%(靠模拟测试验证);如今约 1600 万人生活在距这套基础设施两英里半径内。

为什么「一人一机」的模式撑不住

十五年前无人机是爱好者玩具,十年前变成装在卡车里的工具——但模式一直是「一个专职飞手配一台无人机」。演讲者自己考过认证,他说飞好一台无人机要好几个小时,戴上 FPV(第一人称视角)设备更难。问题是:911 报警电话和警报越多,这个模式就越崩溃,它无法扩展。

所以他们在做的转换是:从「第一人称操控」变成「多智能体指挥视图」——你带着一个目标指挥整个机队,不用管飞行本身。未来的界面可能只是一个 Slack 机器人说「这里出事了,派架无人机过去?

」,你甚至不知道无人机已经起飞了。安全不再由飞手决定,而由自主系统决定。

可靠性从哪来:全栈掌控 + 学习飞轮

Skydio 的行业优势在于同时掌控硬件、软件、云和用户界面。自主飞行需要「很多个九」的可靠性:视觉系统要在高海拔、多云、高速、雨天都看清环境并正确行动;城市里的 GPS 很烂,要稳健导航;还要在大量遮挡下持续跟踪目标。

关键机制是一个学习飞轮,类似 Google 街景:每次飞行都记录数据,回来脱敏(确保不留私人信息、客户清楚共享了什么),然后把「我们指令是这样、无人机却那样做了」的偏差回馈给强化学习系统,重新训练、评估、再部署。而且自主性分两层——即时的自主动作在无人机边缘端完成,云端则放 GPU 和推理引擎,承担更重的计算和长期规划。这带来一个新问题:云端智能体能不能用,取决于传上去的数据质量,所以他们投入大量精力在低带宽下把视频编码成更小体积、解码后仍保持高质量。

系统里的三种「模型」

世界模型(以地图为载体):和 Waymo 类似——有世界地图,做局部感知加全局规划,不能靠撞墙绕路。他们把建筑数据、电线和道路的矢量数据等先验信息合并成可规划的地图,无人机随时知道这张地图。地图会过时,但机队就是「天空中的眼睛」:有无人机飞过发现一个此前未知的新工地,降落提交数据后,下一次迭代全机队都用上更新后的地图。

跟踪与感知模型:更传统的机器学习推理,能跟踪被建筑物遮挡的物体——隐式表示是「它跑到楼后面,可能从另一边出来,我该移动位置跟上」。五年前这要手动工程化,现在用强化学习和端到端方法,不用穷举边界情况就能应对雨雪昼夜、纯视觉条件。算力也分层:边缘端跑轻量跟踪,云端跑更重的模型如 VLM(视觉语言模型),响应速率只有 7 到 10 赫兹、延迟 1 到 2 秒,但足够做「往哪边移动」的大方向决策。

智能体 + 工具:对基础设施客户做大量语义推理——无人机接到「去看这条线,出问题了」的指令后,要到达、理解场景、在场景内行动。实际案例:用户输入「找白色吉普车」,VLM 在画面里找到目标,然后自己调用无人机 API 和跟踪跟随工具完成任务——没有任何专门编码的规则,思路就是给智能体它需要的所有工具,让它根据无人机状态和上下文自己做决策。

端到端的诱惑与边界

长期愿景当然是自动驾驶社区常说的那个:给原始传感器数据,直接出完美动作。他们在用强化学习大量测试这条路。

但物理系统的现实是:完全端到端的系统,出了问题难以观测、可靠性难以保证——这在今天非常困难。所以他们的策略是弄清楚端到端流程中哪些环节应该换成世界模型表示,判断标准很实际:凡是总要说「这段我得手动工程化、得专门编码、得写这些规则」的地方,比如搜救(找树,找不到就看下面,再打开热成像,还没有就去那边看)——他们正试图摆脱代码里所有这些 if 语句和分支策略,让智能体拿着高级工具去执行高层指令。

除了四旋翼,他们也在做更小体积的四旋翼,并开始研究固定翼,全部面向基础设施场景:从任何地方发射、任何地方回收,系统暴露基础交互 API,云端智能体接入并做决策——最终让人与无人机协作时可以「非常高层地思考」。

本集带走

• 「一人一机」是扩展瓶颈:飞手是稀缺技能,报警和警报一多模式就崩;出路是把第一人称操控换成带目标的机队级指挥,安全由自主系统兜底。
• 分层自主:即时动作放无人机边缘端,重计算和长期规划放云端;云端智能体的价值上限取决于上行数据质量——低带宽下的视频编码优化是实打实的投资项。
• 用机队养地图:地图必然过时,但整支机队每次飞行都在发现现实与地图的差异,回传后全队下一次迭代即用上最新版。
• 端到端不是信仰,是取舍:可观测性和可靠性保证是端到端的硬伤;凡是需要写 if 分支的地方(如搜救),就该交给带工具的智能体而不是手写规则。
• 学习飞轮是护城河:记录每次飞行的「指令 vs 实际行为」偏差,脱敏后回灌强化学习,每次任务都让系统更稳。

界面会变得非常高层。它可以是一个小的 Slack 机器人,说:嘿,这里发生了事,要不要派架无人机过去?你甚至可能不知道无人机已经起飞了。
The interface becomes really high level. It could be a little slack bot that says, hey, something’s happened here. Why don’t we go send a drone? And you might not even know that the drone launched.
—— Suchet Bargoti · [04:45]

今天,每个人都需要成为一名专职飞手,我经历过认证流程,还要考虑安全标准。但你可以想象,几年之后,安全将由自主系统来决定。
Today, everyone needs to be a dedicated pilot. I went through a certification exercise. I need to think about the safety standards here, but you can imagine in a few years’ time, the safety is gonna be determined by the autonomous system.
—— Suchet Bargoti · [04:32]

而今天,大约有 1600 万人生活在距离这套基础设施两英里半径的范围内。
And today we have about 16 million people living within two miles radius of this infrastructure.
—— Suchet Bargoti · [07:29]

进来的 911 报警电话越多、能进来的警报越多,这其实无法扩展。
The more 911 calls that come in, the more alerts that can come in, it doesn’t really scale.
—— Suchet Bargoti · [08:20]

所以我们正在重新思考:如何把最初的第一人称操控模式,转换成一种更具战略性的多智能体视图,让你可以带着一个目标指挥整个机队,而不用担心飞行本身。
So we’re kind of rethinking as to what this means in terms of this initial first-person viewing engagement with these systems to how do we convert this to a most strategic multi-agent view that you can kind of command the entire fleet with an objective in mind without having to worry about the flight.
—— Suchet Bargoti · [08:26]

这是一个学习飞轮:我们出去、收集数据、执行任务再回来,这样每次飞行都可以记录数据,有点像 Google 街景——我们要对数据做脱敏,确保不留私人信息。
This is a learning flywheel that we’re getting out there, we’re collecting data, we’re operating, and we’re coming back and doing that so that each flight we can log the data, kind of like Google Street View where we need to think about sanitizing that data, make sure there’s no private information left there.
—— Suchet Bargoti · [10:41]

我们正试图摆脱代码里所有这些 if 语句和分支策略,而是让智能体拥有一些高级工具,能够对无人机下达这些非常高级的指令。
We’re trying to get away from having to have all these if statements in the code and these branching strategies and kind of let the agent have some high-level tools to be able to instruct these very high-level commands for the drone.
—— Suchet Bargoti · [19:10]

它找到目标后,就能访问让无人机跟踪跟随的工具——这不需要对规则做任何专门编码,而是用更智能体的方式:给智能体它需要的所有工具,让它根据无人机状态和可用的信息与上下文自己做决策。
It finds something, then it has access to the tools that allow the drone to track and follow, and that’s without any specific coding of that rules, but instead having a more sort of agentic, giving the agents all the tools that it needs to be able to understand the drone state and make decisions given the information and the context that’s available there.
—— Suchet Bargoti · [17:21]