回退
回退 (fallback)
概念
本站收录 1 集 · 1 条金句 · 关联 10 个
集里怎么说它
- 《LLM 网关生产化实战:Twilio 首席工程师的取舍与踩坑》(00:59起):本集主张对 LLM 用按请求回退替代盲目重试:先试供应商 A 失败再试 B;回退不透明、流式输出锁死选择、备用供应商容量反而要更高是反复踩的坑。
① 提到它的金句
1 条
我认为,你的备用提供商的吞吐量、容量或余量应该设得更高,因为那是你的最后一道防线。
指向原始笔记的链接
And I would argue that your throughputs or your capacity or your headroom should be even higher for the second provider or the fallback provider because that’s your last line of defense.
—— Kanish Manuja · [06:12]
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Kanish Manuja · Twilio · LLM 网关 · 断路器 · 延迟 · 护栏 · 提示词注入 · 推理模型 · fail open · 负载卸载
