教程34
NVIDIA 联合设计稀疏注意力,加速长上下文推理
原标题:Co-Designing Sparse Attention for Efficient Long-Context Inference
NVIDIA 技术博客介绍为高效长上下文推理联合设计稀疏注意力。随着智能体负载、长文档和大型代码库把上下文长度从数万 token 推向数十万 token,注意力成为 Transformer 层中最昂贵的部分,稠密注意力在 128K token 时可能占据大部分 prefill 时间。
来源仅允许展示摘要,全文请到原文阅读。
