AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
为 Apple Silicon 生成 Metal 大内核的开源 LLM 推理引擎,支持本地低延迟服务。
lithos-metal 是一个完全开源的推理引擎,专为 Apple silicon 设计,通过生成 Metal 大内核(megakernel)来降低 LLM 推理延迟。它结合逐层混合器大内核、GPU 常驻生成控制和 DSpark 推测解码,减少执行开销,并支持本地服务编码代理等应用。
推荐指数
适合在 Apple Silicon 上追求低延迟本地推理的开发者,但硬件和模型支持仍有限。
近 7 天
+7
新增 Star
总 Star 排名
#3767
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年10月5日
核心亮点
1Metal 大内核
将算子编译为 GPU 任务,在层级别融合注意力或 GDN 混合器,减少内核启动开销。
2DSpark 推测解码
默认提议 7 个 token,由目标模型验证,提升每轮生成效率。
3GPU 常驻控制
token 位置、接受状态和停止条件由 GPU 跟踪,减少 CPU 参与。
4多协议服务
提供 Chat Completions、Responses、Anthropic Messages 和 Ollama 兼容接口。
5编码代理集成
内置启动器可连接 opencode、claude、codex 等客户端,自动发现模型。
适用场景
本地编码助手
例如:在 M5 Max Mac 上运行 lithos-metal serve,然后用 lithos-metal claude 启动 Claude 客户端进行代码生成。
低延迟 API 服务
例如:通过 curl 调用本地 8000 端口的 /v1/chat/completions 接口,流式获取模型回复。
Apple Silicon 推理研究
例如:开发者参考层融合和任务编译设计,在支持的芯片上测试不同模型配置的性能。
它是怎么工作的
第 1 步
算子分解
将矩阵乘、注意力分区和循环状态切片等算子拆分为 GPU 任务。
第 2 步
依赖编译
编译器记录任务依赖并生成专用 Metal 代码,形成大内核。
第 3 步
层内融合
在选定配置中,将 GDN 或全注意力混合器融合为单个大内核,MLP 保持独立。
第 4 步
运行时调度
通过预编码的 Metal 间接命令缓冲区连接大内核和常规内核,GPU 常驻状态管理生成控制。
快速上手
- 1
安装
通过 Homebrew tap 安装预编译包。
brew install lithos-ai/tap/lithos-metal - 2
启动服务
指定模型启动本地服务,默认端口 8000,上下文 32K。
lithos-metal serve --model nvidia/Qwen3.8-27B-NVFP4 - 3
连接客户端
在另一个终端启动已安装的编码客户端。
lithos-metal claude - 4
调用 API
使用 curl 测试聊天补全接口。
curl http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"nvidia/Qwen3.8-27B-NVFP4","messages":[{"role":"user","content":"Explain how a GPU megakernel works."}],"max_completion_tokens":256,"stream":true}'
适合谁
- 拥有 Apple Silicon Mac 并希望本地运行 LLM 的开发者
- 需要低延迟推理服务的编码代理用户
- 对 Metal 内核优化感兴趣的研究者
不太适合
- 使用非 Apple Silicon 硬件的开发者
- 需要多用户并发服务的生产环境用户
- 追求广泛模型支持的用户
成熟度
- 活跃度仓库创建于 2026 年 10 月,最近一次推送在 2026 年 10 月,活跃时间较短。
- 文档README 包含快速开始、工作原理、硬件支持和 API 示例,并有设计文档链接。
- 社区350 星、32 分支、38 个开放 issue,社区规模较小。
- 上手难度提供 Homebrew 安装和 CLI 启动,但需要特定 macOS 版本和芯片后端,模型支持有限。
同类项目怎么选
- MLXApple 官方的机器学习框架,提供更通用的模型支持,但非专门针对大内核推理优化。
- llama.cpp支持跨平台和多种量化格式,但 Metal 后端优化程度不同,且不生成大内核。
使用前注意
- · 需要 macOS 26+ 和 Apple Silicon Mac,且不同芯片后端支持程度不同,部分为未测量回退。
- · 模型支持有限,主要针对 Qwen 系列,35B 混合 MoE 集成仍为实验性。
- · 一次只能运行一个生成任务,不适合高并发场景。
- · 使用 NVFP4 量化模型和 DSpark 头,需足够统一内存,且依赖特定模型仓库。
