进行中

ArisGlobal 调整 Bedrock 提示缓存顺序降本

报道
1
信源
1
首次报道
11/17 23:57
最近更新
11/17 23:57

ArisGlobal 分享了在 Amazon Bedrock 上扩展生成式 AI 推理的工程实践:把提示词缓存的对象从每案文档改为可复用的共享前缀,并调换提示词顺序,从而降低有效输入成本,支撑更多租户而不成比例增加开销。 该缓存默认有效期为 5 分钟;部分模型可通过设置 "ttl": "1h" 延长至 1 小时。以 Claude Sonnet 4.5 为例,缓存最低需 1,024 个 token,且模型可用性因区域而异。

最新进展ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

  1. ArisGlobal 分享 Bedrock 提示缓存优化实践

    AWS Machine Learning Blog 等 1 篇报道

官方一手信息1 篇

全部报道1 篇

#Anthropic / Claude#Agent 智能体#部署工程#教程实践