提示

提示词缓存 (prompt caching)

概念

本站收录 4 集 · 0 条金句 · 关联 10 个

集里怎么说它

《Anthropic 平台负责人：Claude 平台的「三层蛋糕」与给 token 分工的「策略」》(07:43起):本集点名的底层最佳实践第一名：「去做，能省很多钱和 token 成本」；但嘉宾认为这层没那么多汁可榨，创新在更高一层的策略
《9亿美元管道背后:Unify CTO 谈怎么把销售智能体的成本打下来》(00:30起):本集说提示词缓存比全量输入便宜 90%,OpenAI 默认每秒约 15 请求每键、超了就冷启动;Unify 用用户 ID 哈希 16 桶 × 1-30 随机数摊开缓存键,做到 95% 命中率,且这不可能内建到供应商那边。
《token 不是越省越好:用「可信吞吐量」优化 AI 开发的真 ROI》(19:35起):本集说厂商会对相同前缀的提示词做优化,所以应引导用户把固定的系统提示词放顶部、变化内容放底部以节省成本。
《技能工程的九种黑暗艺术：把 Skill 从提示词做成 Harness 扩展》(29:06起):本集指出从脚本标准输出注入动态指令会破坏提示词缓存,因此该技术只适合交互式场景,不适合频繁运行希望整段缓存的场景

4 集

点进去有真内容 —— 本页主要出口