模型
71AI 评分(两次独立评分的平均)

Thinking Machines 发布 Inkling 2 Mini:26.4B 循环 MoE 可在 32GB Mac 运行

原标题:Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac

MarkTechPost· Asif Razzaq发布时间 (北京时间)

Thinking Machines Lab 发布开源权重模型 Inkling 2 Mini,总参数 26.4B、激活 3.4B,通过中间层循环 3 次实现每 token 5.4B 有效参数,checkpoint 约 20GB,可在 32GB Mac 或 1 台 NVIDIA DGX Spark 上运行。

来源仅允许展示摘要,全文请到原文阅读。

推理能力端侧 AI开源生态模型发布#模型发布#开源/仓库#端侧#推理#Hugging Face

同一件事的其他报道4 篇