跨国深谈← 返回←AI机器人流量已超人类：Cloudflare CEO谈网络的下一场豪赌

AI机器人流量已超人类：Cloudflare CEO谈网络的下一场豪赌

关联

人物 Matthew Prince

公司 Cloudflare · Google

概念 智能体 · 智能体商务 · 爬取 · 微支付 · SEO

互联网历史上第一次，爬网页的AI机器人比真人还多了。说这话的人是 Matthew Prince,Cloudflare 的 CEO——Cloudflare 是给全球很大一部分网站提供防护和加速的公司，所以全网的流量构成，他看得比谁都清楚。他透露了一个连自己都被震住的数据：他起初预测自动化流量要到 2027 年下半年才会超过人类，后来把这个预测提前到 2027 年上半年；结果到了 2026 年 5 月，团队告诉他——已经发生了。

更惊人的是趋势的斜率。如果按当前曲线外推，五年后线上的自动化流量将是人类流量的1000倍——不是人类上网变少，而是机器人流量疯狂上涨。Prince 认为1000倍甚至可能是低估：现在只有约1%的全球知识工作者在日常使用 ChatGPT、Claude、Grok 这类工具，而且一天用一两次；想象100%的知识工作者、每个任务都让智能体跑一遍，量级自然就到了。

网络没有死，反而在重新生长

很多人会想到「死互联网理论」——认为网络终将只剩机器人和自动化内容互相喂养。Prince 说数据恰恰相反：网络流量大约在2015年就停止增长、过去十年还轻微下滑，但2025年10月前后突然恢复增长，速度接近2000年代中期。

而且新内容不是垃圾流水线产物——是不懂技术、没资源但有想法的人，借助 Lovable、Replit、Base44、Wix 这类「说句话就能搭出应用」的工具，第一次能把东西做出来、发布上线。「AI辅助的人类，比以往任何时候都更有创造力。」变化在于消费界面：未来大家主要通过AI界面来接触这些内容。

1000倍流量会压垮现有技术

Prince 拿新冠举例：疫情初期欧洲互联网两周内流量翻倍，就差点整体崩溃——Netflix、Disney、YouTube 等平台高层开会僵持，谁都不肯降画质，最后不得不强制下调视频分辨率才保住欧洲网络。那还只是2倍。

具体到成本：最大的建站平台 WordPress 用 PHP 写成，一家大托管商算过，托管一个网站成本约3.17美元、收费12.99美元；流量涨1000倍，成本就超过3000美元——没有用户付得起。所以Cloudflare的思路是底层技术必须换代：从服务器到虚拟机到容器已经省了一轮，但容器仍要拖一整个操作系统和工具链，太重。

他们押注更轻量的方案(其开发者平台 Workers 及 isolates 技术)，让服务的启动开销小到智能体流量撑得住。按Prince的算法：全球每个知识工作者配一个全天候智能体，哪怕只跑在普通容器里，都需要超过当前全球一年CPU产量的40倍。

出版商的账：抓取换点击的比率一年翻倍

这是Prince最核心的一组数据。十年前Google抓你2次页面送来1次点击；半年前是6次抓取换1次；Google推出AI overviews后变成18:1;OpenAI是1500次抓取换1次点击，Anthropic约60000:1。

**过去一年，这些数字全部又翻了一倍。**对用户来说体验确实更好了——答案直接给、不用再核查；对出版商来说，这意味着没人再点进原始来源。Prince判断：连Google都宣布「10条蓝色链接」的时代正在终结，支撑网络30年的广告+订阅模式，撑不起下一个30年。

他给内容网站分了两类：

• 大多数(希望内容进AI):包括Cloudflare自己的知识库。对它们要做的是极致提效——交付轻量的 markdown 而非笨重的HTML页面、用好缓存，目标是「每次提供页面的成本降到原来的千分之一」，才能跑赢需求增长。
• 广告/订阅制媒体(内容被「偷走」)：它们需要控制权——不给钱就不给内容。Cloudflare一年前给的工具已见效：《纽约时报》《大西洋月刊》、People 等用它屏蔽AI公司、再逼出交易。下一步是微支付基础设施：访问一条信息付几分之一美分，至少覆盖基础设施成本，理想情况还能养活背后的记者和学者。难点在量级——Visa每秒处理约2万笔金融交易，Cloudflare每秒处理约5亿次互联网交易，哪怕其中1%-10%需要付费结算，都是现有支付网络扛不住的。

【背景】原文此处还提到 Condé Nast(康泰纳仕，出版集团)也在使用该工具屏蔽AI公司。

9月中旬，Google默认被屏蔽

Prince 点名最大的不公平：Google「用一个爬虫干两件事」——想留在搜索就得让它喂AI,这是把昨天的搜索垄断变现成明天的AI垄断。数据上，Google抓取的网络内容超过OpenAI的两倍、Anthropic的四倍、Microsoft的五倍。

Cloudflare 的动作：从9月中旬起，对广告或订阅制企业，默认屏蔽Google抓取内容(可主动选择退出)。Prince预计「数百万个网站会从Google的雷达上消失」，大型出版商会纷纷跟进。

在他看来这对Google甚至是系统性威胁——PageRank 的本质是靠链接链路做归因和排名，如果大量内容退出可见范围，Google做搜索排名的根基就断了。他确信Google最终会付费，理由很简单：「YouTube 付给内容创作者的钱比谁都多，Google明明会做这件事，只是得让他们明白《纽约时报》和《大西洋月刊》跟YouTube网红一样值得被付钱。」而排名和SEO,他已经直说了——不再重要。

小企业：智能体商务可能是一台「整合机器」

Prince 这一年新的担忧从小媒体扩大到小企业。逻辑是：品牌本质上是人类懒得做调研时的捷径——看到万豪的标志就知道会得到什么体验。

但智能体没有情感、有无限耐心，会调研一千个网站的所有页面再下单。听起来对小公司公平了？

恰恰相反：新品牌在网上的信息近乎为零，智能体会涌向信息最丰富的老牌大公司。「我的本地农户怎么触达只想要某种棕色鸡蛋的我？

它不可能有那样的信息深度。」

他引用PayPal前CEO的话：担心未来只剩五家公司——一家管钱、一家管地产、一家制造、一家运输、一家AI。Prince还用《杰特森一家》打比方：乔治·杰特森的采购全交给女仆机器人罗茜，而罗茜绝不会去街角杂货店买鸡蛋——她只会去信息最全的大型企业集团。放任自流，智能体商务就会成为大公司并购整合的加速器。

解法是什么？他给出了方向但承认还没答案：把亚马逊星级评分、实际发货履约时间、退货率、拒付率等信息聚合成可验证的质量证明模块，让智能体一眼认出「这是优质商家」——让没有历史声誉的新玩家有办法证明自己产品更好。他正拉着 Shopify、PayPal、Visa、MasterCard、American Express、Intuit 一起攒工具，并和主持人约定明年这个时候给出完整方案。

本集带走

• 爬取/点击比是衡量AI吃掉网络的核心指标：Google 18:1、OpenAI 1500:1、Anthropic 60000:1,一年内全部翻倍——用户越满意，出版商越没饭吃。
• 两条路线分而治之：想让内容进AI的网站拼效率(降成本到千分之一)；广告/订阅制媒体拼控制权(不付费就屏蔽+微支付)。
• 9月中旬是分水岭：Cloudflare 将默认屏蔽Google抓取广告/订阅制网站内容，数百万网站可能退出Google索引，SEO时代加速落幕。
• AI流量的基础设施账：新冠2倍流量就差点压垮欧洲网络；WordPress站在1000倍流量下成本从3美元涨到3000美元——容器之后还需要更轻量级的技术(如 isolates)。
• 警惕智能体商务的整合效应：没有信息积累的新品牌在「无限耐心的买家」面前天然吃亏，需要可验证的质量凭证机制给新进入者留门。
• 下一个大问题：付费智能体不被广告影响=富人得到更诚实的AI,贫富数字鸿沟可能是AI时代最深的裂痕。

我们现在估计,线上的自动化流量将会是人类流量的1000倍。
We estimate now that automated traffic online will be 1,000 times what human traffic is.
—— Matthew Prince · [04:00]

在未来五年里,弄清楚未来30年互联网的商业模式是什么,这是当今技术领域最有趣也最重要的问题。
over the next five years, figuring out what the business model of the next 30 years of the internet, like that’s the most interesting and important question in technology today.
—— Matthew Prince · [10:26]

这个世界不应该只有五个前沿模型提供商,而应该是50万个。
Like, the world shouldn’t be five, you know, frontier model providers. It should be 500,000.
—— Matthew Prince · [12:22]

我认为他们是在用一个爬虫做两件事。他们正试图把昨天拥有的垄断转化为明天的垄断。
I think they’re using one crawler to do two things. And they’re trying to leverage their sort of monopoly that they had yesterday into the monopoly tomorrow.
—— Matthew Prince · [28:33]

如果其他所有AI公司都必须为内容付费,Google也应该如此。
And if every other AI company has to pay for content, so should Google.
—— Matthew Prince · [30:44]

我想说,排名、考虑SEO已经不再重要了。
I would say that ranking, thinking about SEO is just not relevant anymore.
—— Matthew Prince · [32:06]

从9月中旬开始,我们要让它不只是一块「禁止擅入」的牌子,我们会基本上派一个保安站在那里说:除非你补偿创作者,否则你拿不到这些内容。
Starting in mid-September, we’re going to actually make it not just a no trespassing sign, but we’re actually going to have, basically put a bouncer there saying, unless you’re compensating creators, you don’t get this content.
—— Matthew Prince · [38:47]

我想要为之奋斗的世界,不是只有五家AI公司的世界,而是有五十万家的世界。
The world that I’m trying to play for is one where there’s not five AI companies, there’s 500,000.
—— Matthew Prince · [43:38]

智能体在意的不会是几抹漂亮的油漆涂饰。
It’s not going to be a couple of swashes of pretty paint that agents are going to care about.
—— Matthew Prince · [45:53]

我不认为这是不可能的,但如果放任自流,智能体商务将会成为一个整合因素。
I don’t think it’s impossible, but I think that left to its own devices, agentic commerce is going to be a consolidating factor.
—— Matthew Prince · [51:03]

如果我们不再处于基于广告的商业模式中——我认为这很可能——如果你每年为你的智能体花费数千美元,你根本不希望它受到任何广告的影响。
And if we’re not in an ad-based business model anymore, which I think is likely, if you’re spending thousands of dollars a year for your agent, you don’t want it to be influenced by any ads at all.
—— Matthew Prince · [53:31]