精选产品
71AI 评分(两次独立评分的平均)

Unsloth 提供 Inkling 2 Mini GGUF,26.4B MoE 模型可在 16GB 内存运行

原标题:Run Inkling 2 Mini, the strongest 26.4B MoE model that runs on 16GB RAM.

Unsloth AI@UnslothAI发布时间 (北京时间)

Unsloth 发布 Thinking Machines 的 Inkling 2 Mini GGUF 版本,可在 Unsloth 和 llama.cpp 上运行,称其是能在 16GB 内存上运行的最强 26.4B MoE 模型。该模型采用 Apache 2.0 许可和 looped transformer 架构,在 DeepSWE v1.1 上得分 48.2%,被引推文称其在 AA Index 上得 20.1 分。Unsloth 同时提供了 Hugging Face 上的 GGUF 仓库和本地运行指南。

推荐理由材料给出模型参数量、架构与两项基准分数,并附 GGUF 与本地运行指南,便于判断端侧部署可行性。

Run Inkling 2 Mini, the strongest 26.4B MoE model that runs on 16GB RAM.

Thinking Machines’ Apache 2.0 model uses a looped transformer arch & scores 48.2% on DeepSWE v1.1, the best for size.

Run on Unsloth, llama.cpp

GGUF: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
Guide: https://unsloth.ai/docs/models/inkling-2-mini

你们有些人认为 Inkling 2 Small 的 594B 参数太大了。我们听到了你们的声音:Inkling 2 Mini 是一个循环式 transformer,仅有 26B 参数,小到可以在你的笔记本电脑上运行,强大到足以胜任智能体工作,在 AA Index 上得分为 20.1。 https://thinkingmachines.ai/news/inkling-2-mini/
查看原文

Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://thinkingmachines.ai/news/inkling-2-mini/

查看原帖
端侧 AI开源生态产品更新#产品更新#端侧#开源生态#Hugging Face