跨国深谈← 返回←爬取 (crawl)

集里怎么说它

• 《前 Twitter CEO Parag：给智能体重造一个搜索引擎和一个新互联网》(06:09起):本集说爬取是搜索引擎找出网络上每一个 URL 并读取它的过程，并指出预训练爬取会跳过加载慢的 JavaScript 页面，而搜索索引爬取必须是完成主义的，哪怕加载慢也要拿到权威内容
• 《Parag：为什么智能体搜索不该照搬人类那一套》(06:09起):本集说全网络规模的爬取和索引极其昂贵，历史上只有 Google 和 Bing 做到过；但 Parallel 作为’完成主义者’会耐心等慢的 JavaScript 加载来爬取，而模型公司为预训练爬取时没有这种耐心
• 《AI机器人流量已超人类：Cloudflare CEO谈网络的下一场豪赌》(02:36起):本集以爬取/点击比作为衡量 AI 吃掉网络的核心指标:Google 18:1、OpenAI 1500:1、Anthropic 60000:1,一年内全部翻倍;爬取量激增也让网站维护成本成为生死问题。

① 提到它的金句

1 条

我看到智能体从那个像和你一起做结对编程的助手一样，最终爬升为你那个三人编程团队的管理者，最终成为 CDO，最终成为其他职位，你的工作就是在低层级仅仅是去解除阻塞。
I see the agents crawling from like the helper that’s doing peer programming with you to eventually the manager of your three-person programming team to eventually the CDO to eventually to other positions where your job is to be on the lower levels just unblocking.
—— Kitsa · [38:06]

指向原始笔记的链接

② 出现在这些集

3 集

• 《前 Twitter CEO Parag：给智能体重造一个搜索引擎和一个新互联网》 — 作为概念
• 《Parag：为什么智能体搜索不该照搬人类那一套》 — 作为概念
• 《AI机器人流量已超人类：Cloudflare CEO谈网络的下一场豪赌》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · Google · OpenAI · SEO · Andrew · Cloudflare · Sonia · Parag · Parallel · 搜索智能体