精选产品62
vLLM 在发布当天支持 Thinking Machines 的 Inkling 2 Small
原标题:Inkling 2 Small on vLLM: Day-0 Support
vLLM 在 Thinking Machines 发布 Inkling 2 Small 当天即提供支持,这是一个文本与图像输入的多模态 MoE 模型,总参数 594B、激活 17B,上下文最长 1M tokens。
推荐理由原文给出 vLLM 对 Inkling 2 Small 的 Day-0 支持细节与优化手段,可了解该 MoE 模型在推理框架中的部署取舍。
来源仅允许展示摘要,全文请到原文阅读。
