精选产品
67AI 评分(两次独立评分的平均)

vLLM 为 Thinking Machines 的 Inkling 2 Mini 提供 Day-0 支持

原标题:Inkling 2 Mini on vLLM: Day-0 Support for a Looped Model

vLLM Blog· Inferact, Thinking Machines and NVIDIA发布时间 (北京时间)

Thinking Machines 发布 Inkling 2 Mini,vLLM 在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支持。

推荐理由原文交代了循环层模型在推理框架中的缓存与算子处理方式,对关注长上下文部署成本的人有参考价值。

来源仅允许展示摘要,全文请到原文阅读。

推理能力多模态部署工程产品更新#产品更新#部署/工程#推理#多模态

同一件事的其他报道1 篇