进行中
Exa 在 AWS Neuron 芯片上优化嵌入吞吐
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/19 07:58
- 最近更新
- 11/19 07:58
Exa 称,其在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,吞吐提升约 50%,用于为数百亿级文档建立语义索引。优化手段包括调整权重布局、autocast 降精度、NKI 注意力及自定义融合 SwiGLU MLP kernel;正确性以 0.999 余弦相似度为门槛。 这一优化源于 Exa 为新文档模型重嵌入 300 亿篇高优先级文档,推理负载翻倍。Exa 表示,目前仅针对美国西部(俄勒冈)区域的 Inferentia2 完成优化,单一硬件家族、单一区域的调优存在局限。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Exa 分享在 AWS Neuron 芯片上优化嵌入吞吐的实践
AWS Machine Learning Blog 等 1 篇报道
官方一手信息1 篇
Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引
Exa 在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于为数百亿级文档建立语义索引。优化包括权重布局调整、autocast 降精度、NKI 注意力与自定义融合 SwiGLU MLP kernel,并以 0.999 余弦相似度作为正确性门槛。此次优化源于为新文档模型重嵌入 300 亿篇高优先级文档带来的双倍推理负载。
AWS Machine Learning Blog一手
全部报道1 篇
Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引
Exa 在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于为数百亿级文档建立语义索引。优化包括权重布局调整、autocast 降精度、NKI 注意力与自定义融合 SwiGLU MLP kernel,并以 0.999 余弦相似度作为正确性门槛。此次优化源于为新文档模型重嵌入 300 亿篇高优先级文档带来的双倍推理负载。
AWS Machine Learning Blog一手
