教程38
Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引
原标题:Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
Exa 在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于为数百亿级文档建立语义索引。优化包括权重布局调整、autocast 降精度、NKI 注意力与自定义融合 SwiGLU MLP kernel,并以 0.999 余弦相似度作为正确性门槛。此次优化源于为新文档模型重嵌入 300 亿篇高优先级文档带来的双倍推理负载。
来源仅允许展示摘要,全文请到原文阅读。
