71
AI 评分(两次独立评分的平均)Unsloth 提供 Inkling 2 Mini GGUF,26.4B MoE 模型可在 16GB 内存运行
原标题:Run Inkling 2 Mini, the strongest 26.4B MoE model that runs on 16GB RAM.
Unsloth 发布 Thinking Machines 的 Inkling 2 Mini GGUF 版本,可在 Unsloth 和 llama.cpp 上运行,称其是能在 16GB 内存上运行的最强 26.4B MoE 模型。该模型采用 Apache 2.0 许可和 looped transformer 架构,在 DeepSWE v1.1 上得分 48.2%,被引推文称其在 AA Index 上得 20.1 分。Unsloth 同时提供了 Hugging Face 上的 GGUF 仓库和本地运行指南。
推荐理由材料给出模型参数量、架构与两项基准分数,并附 GGUF 与本地运行指南,便于判断端侧部署可行性。
运行 Inkling 2 Mini,这是可在 16GB 内存上运行的最强 26.4B MoE 模型。
Thinking Machines 的 Apache 2.0 模型采用循环 Transformer 架构,在 DeepSWE v1.1 上得分 48.2%,是同尺寸中最佳。
可在 Unsloth、llama.cpp 上运行
GGUF:https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
指南:https://unsloth.ai/docs/models/inkling-2-mini
你们有些人认为 Inkling 2 Small 的 594B 参数太大了。我们听到了你们的声音:Inkling 2 Mini 是一个循环式 transformer,仅有 26B 参数,小到可以在你的笔记本电脑上运行,强大到足以胜任智能体工作,在 AA Index 上得分为 20.1。 https://thinkingmachines.ai/news/inkling-2-mini/
查看原文
Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://thinkingmachines.ai/news/inkling-2-mini/
