withcatai GitHub avatar

node-llama-cpp

TypeScript
本地大模型运行工具withcatai最近推送 2026年11月19日
模型推理与部署MIT2,20623048 issues7 天 +3

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 Node.js 里本地运行大模型,并强制输出符合 JSON Schema。

node-llama-cpp 是 llama.cpp 的 Node.js 绑定,让 JavaScript/TypeScript 开发者在本机加载 GGUF 模型并对话。它提供预编译二进制,缺失时回退用 cmake 从源码构建;还支持在生成阶段约束输出为 JSON 或指定 JSON Schema。

推荐指数

4.0

JS 生态里做本地推理的成熟选择,结构化输出是差异化亮点。

近 7 天

+3

新增 Star

总 Star 排名

#2159

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年8月13日

核心亮点

  • 1本地推理

    模型跑在本机,不依赖云端 API。

  • 2结构化输出

    生成阶段强制 JSON 或指定 JSON Schema。

  • 3GPU 加速

    支持 Metal、CUDA、Vulkan,并自动适配硬件。

  • 4预编译二进制

    覆盖 macOS/Linux/Windows,缺失时用 cmake 回退构建。

  • 5功能齐全

    含函数调用、嵌入、重排序和命令行聊天。

适用场景

  • 本地聊天应用

    例如:用 LlamaChatSession 加载 GGUF 模型做多轮对话。

  • 结构化数据抽取

    例如:让模型按给定 JSON Schema 输出字段,直接解析入库。

  • 函数调用

    例如:给模型提供函数,让它按需调用以获取信息或执行动作。

  • 语义检索

    例如:用嵌入和重排序能力为文档做向量化与排序。

它是怎么工作的

  1. 第 1 步

    安装绑定

    npm 安装后使用预编译二进制,不可用时回退源码构建。

  2. 第 2 步

    加载模型

    getLlama 初始化后按路径加载 GGUF 模型文件。

  3. 第 3 步

    创建上下文

    由模型创建上下文并取得序列。

  4. 第 4 步

    发起对话

    用 LlamaChatSession 的 prompt 进行多轮问答。

  5. 第 5 步

    约束输出

    在生成阶段强制 JSON 或指定 JSON Schema。

快速上手

  1. 1

    直接试用

    不写代码,在终端与模型聊天。

    npx -y node-llama-cpp chat
  2. 2

    安装依赖

    在项目中安装包。

    npm install node-llama-cpp
  3. 3

    加载并对话

    初始化 llama、加载 GGUF 模型、创建上下文与会话后调用 prompt。

适合谁

  • JavaScript/TypeScript 开发者
  • 需要本地或自托管推理的项目
  • 需要模型输出可解析 JSON 的场景

不太适合

  • 不想管理本地模型文件与硬件的用户
  • 只需要调用云端 API 的轻量场景

成熟度

  • 活跃度最近更新于 2026-11,持续跟进 llama.cpp。
  • 文档有独立文档站、入门指南、API 参考和 CLI 帮助。
  • 社区约 2200 star、230 fork,50 个开放 issue。
  • 上手难度预编译二进制加自动硬件适配,上手成本较低。

同类项目怎么选

  • llama.cppC++ 原生实现,本项目是其 Node.js 绑定。
  • Ollama独立服务形态,通过 HTTP 调用;本项目是进程内库。

使用前注意

  • · MIT 许可,商用需保留版权声明。
  • · 需自行准备 GGUF 模型文件,模型体积和显存占用要评估。
  • · 预编译二进制缺失时会回退源码构建,需要 cmake 环境。
  • · GPU 加速依赖本机驱动与硬件支持。

主题标签

aibindingscataillamallama-cppllmnodejsprebuilt-binariesgrammarggufcudametaljson-schemacmakecmake-jsself-hostedembeddingfunction-callinggpuvulkan