观察中
Together与Ollama讲解长会话前缀缓存分工
- 报道
- 2
- 信源
- 2
- 首次报道
- 11/16 08:00
- 最近更新
- 11/17 08:41
Together AI 与 Ollama 联合撰文,讲解在长时程编程智能体负载下如何让前缀缓存命中,使每轮重发整个对话的长会话保持快速。双方分工是:Ollama 负责执行框架侧,决定每次请求放入什么内容;Together AI 负责推理引擎侧,决定请求到达后如何处理。 Ollama 称已通过 ollama launch 命令支持接入 Claude Code、Codex、Pi 等执行框架,并搭配 DeepSeek-V4.1-Flash、GLM-5.3 等开源模型。文章建议把定义放在末尾新增内容处,但称并非所有模型都支持;会话空闲时还可把缓存卸载到 CPU 内存,下一轮再恢复。 文章未给出具体性能数据或验证结果。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 0
- 24 小时新报道
- 0
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
Together AI Blog 等 2 篇报道
官方一手信息1 篇
Together AI 与 Ollama 如何让开源模型支撑长程智能体负载
Together AI 与 Ollama 联合撰文,讲解如何让开源模型在长程编码智能体负载下保持前缀缓存命中。
Together AI Blog一手
全部报道2 篇
编程智能体每一轮都会重发整个对话。前缀缓存能让长会话保持快速,但前提是执行框架和推理引擎双方都各司其职。 来自 Together 的 @zainhas 和来自 @ollama 的 @parthsareen 写下了双方各自需要做对的地方。 https://www.together.ai/blog/making-open-models-work-for-long-horizon-agentic-workloads
Together AI
Together AI 与 Ollama 如何让开源模型支撑长程智能体负载
Together AI 与 Ollama 联合撰文,讲解如何让开源模型在长程编码智能体负载下保持前缀缓存命中。
Together AI Blog一手
