DE
DeepSeek Sparse Attention
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》(04:11起):本集称之为稀疏注意力的转折点:用单独的预测模型动态挑出重要 token 关系、证明动态选择不牺牲质量;但致命伤是选择模型本身用全注意力,平方问题又回来了——在 52000 token 时其算力已超过整个模型稀疏注意力层的总和。
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Alexander Whedon · SubQuadratic · 稀疏注意力 · 上下文工程 · 智能体 · RAG · 预训练 · KVCache · Transformer · Opus 4.6