进行中

Exa 在 AWS Neuron 芯片上优化嵌入吞吐

报道
1
信源
1
首次报道
11/19 07:58
最近更新
11/19 07:58

Exa 称,其在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,吞吐提升约 50%,用于为数百亿级文档建立语义索引。优化手段包括调整权重布局、autocast 降精度、NKI 注意力及自定义融合 SwiGLU MLP kernel;正确性以 0.999 余弦相似度为门槛。 这一优化源于 Exa 为新文档模型重嵌入 300 亿篇高优先级文档,推理负载翻倍。Exa 表示,目前仅针对美国西部(俄勒冈)区域的 Inferentia2 完成优化,单一硬件家族、单一区域的调优存在局限。

最新进展Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. Exa 分享在 AWS Neuron 芯片上优化嵌入吞吐的实践

    AWS Machine Learning Blog 等 1 篇报道

官方一手信息1 篇

  • Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引

    Exa 在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于为数百亿级文档建立语义索引。优化包括权重布局调整、autocast 降精度、NKI 注意力与自定义融合 SwiGLU MLP kernel,并以 0.999 余弦相似度作为正确性门槛。此次优化源于为新文档模型重嵌入 300 亿篇高优先级文档带来的双倍推理负载。

    AWS Machine Learning Blog一手

全部报道1 篇

  • Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引

    Exa 在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于为数百亿级文档建立语义索引。优化包括权重布局调整、autocast 降精度、NKI 注意力与自定义融合 SwiGLU MLP kernel,并以 0.999 余弦相似度作为正确性门槛。此次优化源于为新文档模型重嵌入 300 亿篇高优先级文档带来的双倍推理负载。

    AWS Machine Learning Blog一手

#部署工程#数据与训练#教程实践