稀疏
稀疏注意力 (sparse attention)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》(02:27起):本集核心概念:只对重要的那部分 token 关系跑注意力来绕开二次方开销;历史上的固定模式(如滑动窗口)不能稳健建模语言,动态选择(DeepSeek)可行但引入全注意力成本,SubQuadratic 声称用单模型边生成边选择两全其美。
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Alexander Whedon · SubQuadratic · 上下文工程 · 智能体 · RAG · 预训练 · DeepSeek Sparse Attention · KVCache · Transformer · Opus 4.6