产品
71AI 评分(两次独立评分的平均)

Thinking Machines 发布 Inkling 2 Mini,26.4B 模型可在 16GB 内存运行

原标题:Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.

Unsloth AI@UnslothAI发布时间 (北京时间)

Thinking Machines 发布 Inkling 2 Mini,这是一个采用 looped transformer 架构的 Apache 2.0 MoE 模型,参数量 26.4B,可在 16GB 内存上运行。该模型在 DeepSWE v1.1 上得分 48.2%,Unsloth 称其为同尺寸最佳;引用信息中给出的 AA Index 得分为 20.1。Unsloth 已提供 GGUF 版本,可通过 Unsloth 和 llama.cpp 本地运行。

同一件事,精选收录的是《Unsloth 提供 Inkling 2 Mini GGUF,26.4B MoE 模型可在 16GB 内存运行》

运行 Inkling 2 Mini,这是能在 16GB 内存上运行的最强 26.4B 模型。

Thinking Machines 的 Apache 2.0 MoE 模型采用循环 transformer 架构,在 DeepSWE v1.1 上得分 48.2%,是同尺寸中最好的。

可在 Unsloth、llama.cpp 上运行

GGUF:https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
指南:https://unsloth.ai/docs/models/inkling-2-mini

你们有些人认为 Inkling 2 Small 的 594B 参数太大了。我们听到了你们的声音:Inkling 2 Mini 是一个循环式 transformer,仅有 26B 参数,小到可以在你的笔记本电脑上运行,强大到足以胜任智能体工作,在 AA Index 上得分为 20.1。 https://thinkingmachines.ai/news/inkling-2-mini/
查看原文

Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index. https://thinkingmachines.ai/news/inkling-2-mini/

查看原帖
端侧 AI开源生态产品更新#产品更新#端侧#开源生态#Hugging Face

同一件事的其他报道1 篇