71
AI 评分(两次独立评分的平均)Thinking Machines 发布 Inkling 2 Mini,26.4B 模型可在 16GB 内存运行
原标题:Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.
Thinking Machines 发布 Inkling 2 Mini,这是一个采用 looped transformer 架构的 Apache 2.0 MoE 模型,参数量 26.4B,可在 16GB 内存上运行。该模型在 DeepSWE v1.1 上得分 48.2%,Unsloth 称其为同尺寸最佳;引用信息中给出的 AA Index 得分为 20.1。Unsloth 已提供 GGUF 版本,可通过 Unsloth 和 llama.cpp 本地运行。
同一件事,精选收录的是《Unsloth 提供 Inkling 2 Mini GGUF,26.4B MoE 模型可在 16GB 内存运行》
Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.
Thinking Machines’ Apache 2.0 MoE model uses a looped transformer arch & scores 48.2% on DeepSWE v1.1, the best for size.
Run on Unsloth, llama.cpp
GGUF: https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
Guide: https://unsloth.ai/docs/models/inkling-2-mini
你们有些人认为 Inkling 2 Small 的 594B 参数太大了。我们听到了你们的声音:Inkling 2 Mini 是一个循环式 transformer,仅有 26B 参数,小到可以在你的笔记本电脑上运行,强大到足以胜任智能体工作,在 AA Index 上得分为 20.1。 https://thinkingmachines.ai/news/inkling-2-mini/
查看原文
Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://thinkingmachines.ai/news/inkling-2-mini/
