AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在 Java 应用里直接运行大模型推理的引擎。
Jlama 是一个用 Java 编写的现代 LLM 推理引擎,目标是把大模型推理能力直接嵌入 Java 应用。它支持 Gemma、Llama 系列、Mistral、Mixtral、Qwen2、IBM Granite、GPT-2、BERT 等模型,兼容 HuggingFace SafeTensors 格式,并实现 Paged Attention、MoE、工具调用、Embedding 生成、分类器、量化与分布式推理。
推荐指数
Java 生态里少见的完整本地推理引擎,适合想把 LLM 嵌入 JVM 应用的团队。
总 Star 排名
#2963
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年7月31日
核心亮点
1纯 Java 推理
基于 Panama Vector 等后端,在 JVM 内完成推理,无需 Python 服务。
2模型覆盖广
支持 Llama、Gemma、Mistral、Qwen2、Granite、GPT-2、BERT 等主流架构。
3量化与格式
支持 F32/F16/BF16 及 Q8/Q4 量化,直接读取 HuggingFace SafeTensors。
4OpenAI 兼容 API
内置 restapi 命令,可启动兼容 OpenAI 的接口和聊天界面。
5分布式推理
提供 cluster-coordinator 与 cluster-worker,可跨节点分担推理。
适用场景
Java 后端集成 LLM
例如:在 Spring 服务里用 jlama-core 加载量化 Llama 模型做本地问答。
本地命令行试用
例如:用 jbang 安装 jlama 后运行 restapi 命令,在浏览器里和模型对话。
离线或内网部署
例如:下载模型到本地目录,在无外网的服务器上完成推理。
Langchain4j 应用
例如:通过 Langchain4j 的 Jlama 集成把模型接入现有 Java 应用。
它是怎么工作的
第 1 步
下载模型
从 HuggingFace 拉取 SafeTensors 格式模型,或使用作者预量化版本。
第 2 步
加载模型
ModelSupport.loadModel 按指定数据类型加载权重和分词器。
第 3 步
构造提示
用 promptSupport 按模型模板拼接 system/user 消息。
第 4 步
生成响应
调用 generate 进行流式或非流式推理,返回文本结果。
快速上手
- 1
安装 jbang
安装 jbang 工具,用于运行 Jlama CLI。
curl -Ls https://sh.jbang.dev | bash -s - app setup - 2
安装 Jlama CLI
通过 jbang 安装 jlama 命令行工具。
jbang app install --force jlama@tjake - 3
启动聊天 API
自动下载量化模型并启动 OpenAI 兼容接口,浏览器打开 8080 端口。
jlama restapi tjake/Llama-3.2-1B-Instruct-JQ4 --auto-download - 4
加入 Maven 依赖
在 Java 项目中引入 jlama-core 与对应平台的 jlama-native。
适合谁
- 希望把 LLM 推理嵌入 Java 应用的开发者
- 需要内网或离线部署模型的团队
- 使用 Langchain4j 的 Java 项目
不太适合
- 追求最新模型和最高推理性能的用户
- 不愿处理 Java 预览特性配置的开发者
成熟度
- 活跃度最近一次提交在 2025 年 10 月,仍在持续更新。
- 文档README 有快速开始和代码示例,深入内容需看 DeepWiki。
- 社区约 1300 star、167 fork,有 Discord 频道,规模中等。
- 上手难度jbang 上手简单,但需 Java 20+ 和预览特性配置。
同类项目怎么选
- llama.cppC/C++ 实现,性能与生态更成熟,但需通过 JNI 等方式接入 Java。
- Ollama以独立服务方式提供模型运行,Java 侧通过 HTTP 调用而非进程内嵌入。
使用前注意
- · 需要 Java 20 或更高版本,并启用 preview 与 vector 模块。
- · 原生加速库仅覆盖 linux-x86_64、macos-x86_64/aarch_64、windows-x86_64。
- · WebGPU 后端仍属实验性,稳定性有限。
- · 模型需自行下载,量化版本可从作者 HuggingFace 主页获取。
