AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用纯 Go 重写 llama.cpp,让 Go 开发者能在本地跑 LLaMA 模型。
llama.go 是 llama.cpp 的纯 Golang 实现,目标是在不依赖 GPU 集群的情况下,用 Go 语言进行 LLaMA 系列大模型的推理。项目基于 ggml.cpp 框架,实现了张量运算、模型加载和神经网络架构,支持在 Mac、Linux 和 Windows 上运行。
推荐指数
适合想用 Go 做本地 LLM 推理的开发者,但项目已转向新仓库,且模型格式和功能支持有限。
总 Star 排名
#2837
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年3月19日
核心亮点
1纯 Go 实现
张量运算和推理逻辑全部用 Go 编写,不依赖 C++ 绑定。
2跨平台支持
提供 Mac、Linux、Windows 的预编译二进制,也支持 ARM NEON 和 x64 AVX2 优化。
3内置 REST API
通过 --server 参数启动 HTTP 服务,支持提交任务、查询状态和获取结果。
4多线程与并行
支持 --threads 和 --pods 参数,可控制 CPU 核心数和并行推理实例数。
5交互式聊天
提供 --chat 参数,可在终端与模型进行实时对话。
适用场景
本地实验与学习
例如:在个人电脑上加载 LLaMA-7B 模型,用命令行提示词测试推理效果。
Go 项目集成
例如:通过内置 REST API 将模型推理能力接入 Go 编写的后端服务。
无 GPU 环境部署
例如:在只有 CPU 和足够内存的服务器上运行 LLaMA-13B 模型进行文本生成。
它是怎么工作的
第 1 步
加载模型
读取转换后的 .bin 格式 LLaMA 模型文件,将权重载入内存。
第 2 步
张量运算
用纯 Go 实现矩阵乘法等张量操作,支持多线程和 SIMD 优化。
第 3 步
推理生成
根据输入提示词,逐 token 预测并生成文本。
第 4 步
服务模式
启动 HTTP 服务器,接收任务请求并排队执行推理。
快速上手
- 1
下载模型
从 README 提供的链接下载 LLaMA-7B 或 13B 的 FP32 模型文件。
- 2
获取可执行文件
下载对应平台的预编译二进制,或从源码构建。
git clone https://github.com/gotzmann/llama.go.git && cd llama.go && go mod tidy && go mod vendor - 3
运行推理
指定模型路径和提示词,直接生成文本。
llama-go-v1.4.0-macos --model ~/models/llama-7b-fp32.bin --prompt "Why Golang is so popular?" - 4
启动服务
以服务器模式运行,通过 REST API 提交任务。
llama-go-v1.4.0-macos --model ~/models/llama-7b-fp32.bin --server --host 127.0.0.1 --port 8080 --pods 4 --threads 4
适合谁
- 熟悉 Go 语言、想本地跑 LLM 的开发者
- 需要在无 GPU 环境部署推理服务的团队
- 对 llama.cpp 感兴趣但希望用 Go 替代 C++ 的人
不太适合
- 需要最新模型格式(如 GGUF V3)或量化支持的用户
- 追求高性能 GPU 推理或生产级稳定性的团队
成熟度
- 活跃度最后更新于 2024 年 9 月,README 已引导用户转向新仓库 FastTensors。
- 文档README 包含运行命令、参数说明和 REST API 示例,但缺少详细开发文档。
- 社区约 1400 star、72 fork,16 个开放 issue,社区规模较小。
- 上手难度提供预编译二进制和清晰命令行参数,但需要自行准备模型文件且内存要求高。
同类项目怎么选
- llama.cppC++ 实现,性能更成熟,支持更多模型格式和量化方案。
- ollama提供更简单的模型管理和运行体验,但底层基于 llama.cpp。
使用前注意
- · 项目已不再活跃开发,作者转向新仓库 FastTensors,长期维护存疑。
- · 仅支持 LLaMA 第一代模型和 .bin 格式,不支持 GGUF V3 或量化模型。
- · FP32 模型需要大量内存:LLaMA-7B 至少 32GB,13B 至少 64GB。
- · 许可证为 NOASSERTION,使用前需确认具体许可条款。
