在浏览器里跑大模型：DeepMind 带来的开源新玩具
关联
Paige Bailey 是 Google DeepMind 的工程师。这场演讲几乎没有幻灯片，她一边现场演示，一边介绍 Google 近几个月密集发布的新东西：
新的 API、新的智能体服务，以及重点——开源模型家族 Gemma 4。
她开场还强调，DeepMind 的使命是负责任地发展 AI、造福人类，相关工作包括 MedGemma，以及数学、机器人等科学场景的应用 。
【背景】原文提到 “alpha folds”，按上下文应指 DeepMind 的蛋白质结构预测系统 AlphaFold。
模型怎么塞进浏览器里跑？
演示的开场很抓人：Gemma 4 被直接加载进浏览器，通过 WebAssembly 在沙盒里完全本地运行。
她现场输入一个指令——用表情符号做表格，比较《哈利·波特》系列各本书哪个最搞笑、最刺激，并给出阅读建议。
模型几乎瞬间给出了完整排名 。
关键在于：数据不出你的电脑。它不调用任何云服务，全靠 Transformers.js 加 Gemma 4 在本地完成。
手机上也能跑，还不花钱
Google AI Edge Gallery 是一个免费应用，支持 Android 和 iOS，可以把 Gemma 装到设备上。功能包括识别和描述图片、用超过 140 种语言转录音频、在设备上直接做函数调用 。
应用里还内置了一堆技能：写俳句、做游戏、查天气、帮你往日历里排日程。
如果你的手机有像 Pixel 10 这样的高端芯片，模型推理可以走硬件加速器，而不是退回 CPU 慢慢算 。
小模型，凭什么打得过大模型？
Gemma 4 有多个尺寸：20 亿、40 亿、120 亿参数版本，还有 260 亿和 310 亿两种版本。
最大两个版本看起来不大，表现却超过了体积比它们大一个数量级的模型 。
这直接翻译成成本优势：不需要分布式推理，不需要大片 GPU，一块普通显卡就能跑得很好。
120 亿参数以下的版本可以在笔记本电脑上本地运行，20 亿参数版本塞进手机绰绰有余。
而且这些模型采用 Apache 2 许可证——下载、商用、微调、魔改，都随你 。
想更快？还有压缩版
开头演示里那个快得惊人的浏览器模型，用的是量化（QAT）检查点——相当于把模型体积压缩。20 亿参数的量化版本，不到 1 GB 。
这也是小设备上能流畅跑模型的秘密之一。
本集带走
- Gemma 4 是 Google 的开源模型家族，从 20 亿到 310 亿参数多种尺寸，Apache 2 许可证可自由商用
- 模型可以完全在浏览器和手机上本地运行，数据不出设备
- 小尺寸模型表现超过大它一个数量级的模型，一块普通显卡就够用
- 量化版本不到 1 GB，让手机和笔记本电脑也能流畅运行
- 想上手可以直接下载免费的 Google AI Edge Gallery 应用体验
与市面上其他一些模型相比，它们相当小，但它们的表现远超你的预期。
They’re quite small in comparison to some other models that are on the market, but they’re performing way above what you might expect.
—— Paige Bailey · [09:23]
所以，我们试图在这个阴影日益浓重的世界里，尽可能多地投射光明。
So trying to cast as much light as we can in this world that increasingly has shade.
—— Paige Bailey · [03:08]
顺着「创业与行业」挖下去
- AI基建狂潮比你想的更大，而且还没到头同公司:DeepMind · 同概念:GPU、推理 (inference)
- 当AI智能体成为云的大客户：AWS CEO Matt Garman 谈2200亿美元的豪赌同概念:GPU、推理 (inference)、沙箱 (sandbox)
- Ed Zitron：生成式 AI 是一场万亿级骗局同概念:GPU、推理 (inference)、沙箱 (sandbox)
换个口味
- AI 没有网络效应，只有「复利效应」：Perplexity CEO 的反共识打法同公司:DeepMind · 同概念:推理 (inference)、沙箱 (sandbox)
- 不只做推理：Modal 如何跨界多节点训练与智能体云同概念:推理 (inference)、沙箱 (sandbox)
- 智能体网站：为每一个人实时生成的超个性化网页同概念:Gemma 4、推理 (inference)