ashhart GitHub avatar

TensorFold

Zig
跨平台大模型推理引擎ashhart最近推送 2026年11月19日
模型推理与部署Apache-2.02,327546761 issues7 天 +530

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用 Zig 编写的本地 LLM 推理引擎,在 Apple Silicon 和 NVIDIA GPU 上直接运行模型。

TensorFold 是一个用 Zig 编写的 LLM 推理引擎,支持 Metal、CUDA 和 Vulkan 后端。它直接读取模型检查点、对请求做分词,并运行 Metal 或 CUDA 内核,提供服务时不需要安装 Python 或 MLX。项目还提供 Mac 桌面应用和面向企业的 Starlight 版本。

推荐指数

4.0

适合想在 Mac 或 NVIDIA GPU 上不依赖 Python 运行模型的开发者,但项目较新、未解决问题多,需谨慎评估。

近 7 天

+530

新增 Star

总 Star 排名

#2084

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年6月20日

核心亮点

  • 1无需 Python

    单个 Zig 二进制直接加载模型并推理,不依赖 Python 或 MLX 环境。

  • 2多后端支持

    支持 Metal、CUDA 和 Vulkan,覆盖 Apple Silicon 与 NVIDIA GPU。

  • 3兼容主流 API

    提供 OpenAI 风格的 chat completions、completions、Responses 及 Anthropic Messages 接口。

  • 4自带桌面应用

    提供 Apple Silicon 桌面工作区,集成模型下载、对话和生成指标。

  • 5并发控制

    通过 --parallel 限制同时处理的请求数,超出部分排队等待。

适用场景

  • Mac 本地跑模型

    例如:在 Apple Silicon Mac 上用 Homebrew 安装后,拉取 Qwen3.5-2B 4bit 模型并启动服务。

  • NVIDIA 服务器部署

    例如:在 Linux x86_64 或 GB10 主机上下载发布包,启动服务后用 curl 调用聊天接口。

  • 替代 Python 推理栈

    例如:在不想维护 Python 环境的机器上,用单个二进制提供 OpenAI 兼容接口。

  • 桌面端试用模型

    例如:使用 TensorFold Web 或 Mac 桌面应用选择模型并直接对话。

它是怎么工作的

  1. 第 1 步

    拉取模型

    用 tensorfold pull 下载指定 Hugging Face 仓库和固定版本。

  2. 第 2 步

    加载检查点

    引擎读取本地或缓存中的模型权重并初始化后端内核。

  3. 第 3 步

    启动服务

    tensorfold serve 启动 HTTP 服务,并分配并发流数量。

  4. 第 4 步

    处理请求

    接收请求后分词,运行 Metal 或 CUDA 内核生成结果并返回。

快速上手

  1. 1

    安装

    Mac 上用 Homebrew 安装。

    brew install ashhart/tensorfold/tensorfold
  2. 2

    下载模型

    拉取固定版本的 4bit 小模型。

    tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
  3. 3

    启动服务

    以 local-model 为名提供服务,上下文 8192。

    tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking
  4. 4

    发送请求

    用 curl 调用聊天补全接口。

    curl -fsS http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"local-model","messages":[{"role":"user","content":"Say hello in one sentence."}],"max_tokens":128,"temperature":0}'

适合谁

  • 使用 Apple Silicon 或 NVIDIA GPU 的开发者
  • 希望避免 Python 依赖的部署者
  • 需要 OpenAI 兼容本地接口的团队

不太适合

  • 没有对应 GPU 硬件的用户
  • 需要成熟稳定生产方案且不愿承担新项目风险的团队

成熟度

  • 活跃度创建于 2026 年 6 月,最近一次推送在 2026 年 11 月,仍在活跃开发。
  • 文档README 覆盖安装、启动和请求示例,但部分细节需查阅额外文档。
  • 社区约 2291 star、532 fork,但未解决问题达 715 个。
  • 上手难度提供 Homebrew 和发布包,但 CUDA 需驱动 R580 以上,环境要求较具体。

同类项目怎么选

  • llama.cppC/C++ 实现,生态更成熟,后端和模型格式覆盖更广。
  • Ollama更偏向开箱即用的模型管理与运行工具,封装程度更高。
  • MLXApple 官方生态的数组框架,通常需要 Python 环境。

使用前注意

  • · 采用 Apache-2.0 许可,模型权重有各自独立的许可。
  • · Linux CUDA 版本要求 glibc 2.28 以上和 NVIDIA 驱动 R580 以上,旧驱动会被拒绝启动。
  • · 项目较新且未解决问题数量多,生产使用前应充分测试。
  • · Windows 需按专门文档进行原生构建,移动端仍为预览软件。

主题标签

aiai-toolsllmllm-inferencellm-tools