AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用 Zig 编写的本地 LLM 推理引擎,在 Apple Silicon 和 NVIDIA GPU 上直接运行模型。
TensorFold 是一个用 Zig 编写的 LLM 推理引擎,支持 Metal、CUDA 和 Vulkan 后端。它直接读取模型检查点、对请求做分词,并运行 Metal 或 CUDA 内核,提供服务时不需要安装 Python 或 MLX。项目还提供 Mac 桌面应用和面向企业的 Starlight 版本。
推荐指数
适合想在 Mac 或 NVIDIA GPU 上不依赖 Python 运行模型的开发者,但项目较新、未解决问题多,需谨慎评估。
近 7 天
+530
新增 Star
总 Star 排名
#2084
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年6月20日
核心亮点
1无需 Python
单个 Zig 二进制直接加载模型并推理,不依赖 Python 或 MLX 环境。
2多后端支持
支持 Metal、CUDA 和 Vulkan,覆盖 Apple Silicon 与 NVIDIA GPU。
3兼容主流 API
提供 OpenAI 风格的 chat completions、completions、Responses 及 Anthropic Messages 接口。
4自带桌面应用
提供 Apple Silicon 桌面工作区,集成模型下载、对话和生成指标。
5并发控制
通过 --parallel 限制同时处理的请求数,超出部分排队等待。
适用场景
Mac 本地跑模型
例如:在 Apple Silicon Mac 上用 Homebrew 安装后,拉取 Qwen3.5-2B 4bit 模型并启动服务。
NVIDIA 服务器部署
例如:在 Linux x86_64 或 GB10 主机上下载发布包,启动服务后用 curl 调用聊天接口。
替代 Python 推理栈
例如:在不想维护 Python 环境的机器上,用单个二进制提供 OpenAI 兼容接口。
桌面端试用模型
例如:使用 TensorFold Web 或 Mac 桌面应用选择模型并直接对话。
它是怎么工作的
第 1 步
拉取模型
用 tensorfold pull 下载指定 Hugging Face 仓库和固定版本。
第 2 步
加载检查点
引擎读取本地或缓存中的模型权重并初始化后端内核。
第 3 步
启动服务
tensorfold serve 启动 HTTP 服务,并分配并发流数量。
第 4 步
处理请求
接收请求后分词,运行 Metal 或 CUDA 内核生成结果并返回。
快速上手
- 1
安装
Mac 上用 Homebrew 安装。
brew install ashhart/tensorfold/tensorfold - 2
下载模型
拉取固定版本的 4bit 小模型。
tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3 - 3
启动服务
以 local-model 为名提供服务,上下文 8192。
tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking - 4
发送请求
用 curl 调用聊天补全接口。
curl -fsS http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"local-model","messages":[{"role":"user","content":"Say hello in one sentence."}],"max_tokens":128,"temperature":0}'
适合谁
- 使用 Apple Silicon 或 NVIDIA GPU 的开发者
- 希望避免 Python 依赖的部署者
- 需要 OpenAI 兼容本地接口的团队
不太适合
- 没有对应 GPU 硬件的用户
- 需要成熟稳定生产方案且不愿承担新项目风险的团队
成熟度
- 活跃度创建于 2026 年 6 月,最近一次推送在 2026 年 11 月,仍在活跃开发。
- 文档README 覆盖安装、启动和请求示例,但部分细节需查阅额外文档。
- 社区约 2291 star、532 fork,但未解决问题达 715 个。
- 上手难度提供 Homebrew 和发布包,但 CUDA 需驱动 R580 以上,环境要求较具体。
同类项目怎么选
- llama.cppC/C++ 实现,生态更成熟,后端和模型格式覆盖更广。
- Ollama更偏向开箱即用的模型管理与运行工具,封装程度更高。
- MLXApple 官方生态的数组框架,通常需要 Python 环境。
使用前注意
- · 采用 Apache-2.0 许可,模型权重有各自独立的许可。
- · Linux CUDA 版本要求 glibc 2.28 以上和 NVIDIA 驱动 R580 以上,旧驱动会被拒绝启动。
- · 项目较新且未解决问题数量多,生产使用前应充分测试。
- · Windows 需按专门文档进行原生构建,移动端仍为预览软件。
