精选产品
67
AI 评分(两次独立评分的平均)vLLM 为 Thinking Machines 的 Inkling 2 Mini 提供 Day-0 支持
原标题:Inkling 2 Mini on vLLM: Day-0 Support for a Looped Model
Thinking Machines 发布 Inkling 2 Mini,vLLM 在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支持。
推荐理由原文交代了循环层模型在推理框架中的缓存与算子处理方式,对关注长上下文部署成本的人有参考价值。
来源仅允许展示摘要,全文请到原文阅读。
同一件事的其他报道1 篇
vLLM · 原文
