精选产品62

vLLM 在发布当天支持 Thinking Machines 的 Inkling 2 Small

原标题:Inkling 2 Small on vLLM: Day-0 Support

vLLM Blog· Inferact and Thinking Machines发布时间 (北京时间)

vLLM 在 Thinking Machines 发布 Inkling 2 Small 当天即提供支持,这是一个文本与图像输入的多模态 MoE 模型,总参数 594B、激活 17B,上下文最长 1M tokens。

推荐理由原文给出 vLLM 对 Inkling 2 Small 的 Day-0 支持细节与优化手段,可了解该 MoE 模型在推理框架中的部署取舍。

来源仅允许展示摘要,全文请到原文阅读。
推理能力多模态开源生态部署工程产品更新#产品更新#部署/工程#推理#多模态#开源生态