gotzmann GitHub avatar

llama.go

Go
Go 语言大模型推理引擎gotzmann最近推送 2024年9月21日
模型推理与部署NOASSERTION1,4047216 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用纯 Go 重写 llama.cpp,让 Go 开发者能在本地跑 LLaMA 模型。

llama.go 是 llama.cpp 的纯 Golang 实现,目标是在不依赖 GPU 集群的情况下,用 Go 语言进行 LLaMA 系列大模型的推理。项目基于 ggml.cpp 框架,实现了张量运算、模型加载和神经网络架构,支持在 Mac、Linux 和 Windows 上运行。

推荐指数

3.0

适合想用 Go 做本地 LLM 推理的开发者,但项目已转向新仓库,且模型格式和功能支持有限。

总 Star 排名

#2837

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年3月19日

核心亮点

  • 1纯 Go 实现

    张量运算和推理逻辑全部用 Go 编写,不依赖 C++ 绑定。

  • 2跨平台支持

    提供 Mac、Linux、Windows 的预编译二进制,也支持 ARM NEON 和 x64 AVX2 优化。

  • 3内置 REST API

    通过 --server 参数启动 HTTP 服务,支持提交任务、查询状态和获取结果。

  • 4多线程与并行

    支持 --threads 和 --pods 参数,可控制 CPU 核心数和并行推理实例数。

  • 5交互式聊天

    提供 --chat 参数,可在终端与模型进行实时对话。

适用场景

  • 本地实验与学习

    例如:在个人电脑上加载 LLaMA-7B 模型,用命令行提示词测试推理效果。

  • Go 项目集成

    例如:通过内置 REST API 将模型推理能力接入 Go 编写的后端服务。

  • 无 GPU 环境部署

    例如:在只有 CPU 和足够内存的服务器上运行 LLaMA-13B 模型进行文本生成。

它是怎么工作的

  1. 第 1 步

    加载模型

    读取转换后的 .bin 格式 LLaMA 模型文件,将权重载入内存。

  2. 第 2 步

    张量运算

    用纯 Go 实现矩阵乘法等张量操作,支持多线程和 SIMD 优化。

  3. 第 3 步

    推理生成

    根据输入提示词,逐 token 预测并生成文本。

  4. 第 4 步

    服务模式

    启动 HTTP 服务器,接收任务请求并排队执行推理。

快速上手

  1. 1

    下载模型

    从 README 提供的链接下载 LLaMA-7B 或 13B 的 FP32 模型文件。

  2. 2

    获取可执行文件

    下载对应平台的预编译二进制,或从源码构建。

    git clone https://github.com/gotzmann/llama.go.git && cd llama.go && go mod tidy && go mod vendor
  3. 3

    运行推理

    指定模型路径和提示词,直接生成文本。

    llama-go-v1.4.0-macos --model ~/models/llama-7b-fp32.bin --prompt "Why Golang is so popular?"
  4. 4

    启动服务

    以服务器模式运行,通过 REST API 提交任务。

    llama-go-v1.4.0-macos --model ~/models/llama-7b-fp32.bin --server --host 127.0.0.1 --port 8080 --pods 4 --threads 4

适合谁

  • 熟悉 Go 语言、想本地跑 LLM 的开发者
  • 需要在无 GPU 环境部署推理服务的团队
  • 对 llama.cpp 感兴趣但希望用 Go 替代 C++ 的人

不太适合

  • 需要最新模型格式(如 GGUF V3)或量化支持的用户
  • 追求高性能 GPU 推理或生产级稳定性的团队

成熟度

  • 活跃度最后更新于 2024 年 9 月,README 已引导用户转向新仓库 FastTensors。
  • 文档README 包含运行命令、参数说明和 REST API 示例,但缺少详细开发文档。
  • 社区约 1400 star、72 fork,16 个开放 issue,社区规模较小。
  • 上手难度提供预编译二进制和清晰命令行参数,但需要自行准备模型文件且内存要求高。

同类项目怎么选

  • llama.cppC++ 实现,性能更成熟,支持更多模型格式和量化方案。
  • ollama提供更简单的模型管理和运行体验,但底层基于 llama.cpp。

使用前注意

  • · 项目已不再活跃开发,作者转向新仓库 FastTensors,长期维护存疑。
  • · 仅支持 LLaMA 第一代模型和 .bin 格式,不支持 GGUF V3 或量化模型。
  • · FP32 模型需要大量内存:LLaMA-7B 至少 32GB,13B 至少 64GB。
  • · 许可证为 NOASSERTION,使用前需确认具体许可条款。

主题标签

llamaalpacachatgptdalaigptgpt3gpt4llama-cppllmgpt4allvicuna