lithos-ai GitHub avatar

lithos-metal

Python
苹果芯片推理引擎lithos-ai最近推送 2026年10月22日
模型推理与部署Apache-2.03513238 issues7 天 +7

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

为 Apple Silicon 生成 Metal 大内核的开源 LLM 推理引擎,支持本地低延迟服务。

lithos-metal 是一个完全开源的推理引擎,专为 Apple silicon 设计,通过生成 Metal 大内核(megakernel)来降低 LLM 推理延迟。它结合逐层混合器大内核、GPU 常驻生成控制和 DSpark 推测解码,减少执行开销,并支持本地服务编码代理等应用。

推荐指数

4.0

适合在 Apple Silicon 上追求低延迟本地推理的开发者,但硬件和模型支持仍有限。

近 7 天

+7

新增 Star

总 Star 排名

#3767

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月5日

核心亮点

  • 1Metal 大内核

    将算子编译为 GPU 任务,在层级别融合注意力或 GDN 混合器,减少内核启动开销。

  • 2DSpark 推测解码

    默认提议 7 个 token,由目标模型验证,提升每轮生成效率。

  • 3GPU 常驻控制

    token 位置、接受状态和停止条件由 GPU 跟踪,减少 CPU 参与。

  • 4多协议服务

    提供 Chat Completions、Responses、Anthropic Messages 和 Ollama 兼容接口。

  • 5编码代理集成

    内置启动器可连接 opencode、claude、codex 等客户端,自动发现模型。

适用场景

  • 本地编码助手

    例如:在 M5 Max Mac 上运行 lithos-metal serve,然后用 lithos-metal claude 启动 Claude 客户端进行代码生成。

  • 低延迟 API 服务

    例如:通过 curl 调用本地 8000 端口的 /v1/chat/completions 接口,流式获取模型回复。

  • Apple Silicon 推理研究

    例如:开发者参考层融合和任务编译设计,在支持的芯片上测试不同模型配置的性能。

它是怎么工作的

  1. 第 1 步

    算子分解

    将矩阵乘、注意力分区和循环状态切片等算子拆分为 GPU 任务。

  2. 第 2 步

    依赖编译

    编译器记录任务依赖并生成专用 Metal 代码,形成大内核。

  3. 第 3 步

    层内融合

    在选定配置中,将 GDN 或全注意力混合器融合为单个大内核,MLP 保持独立。

  4. 第 4 步

    运行时调度

    通过预编码的 Metal 间接命令缓冲区连接大内核和常规内核,GPU 常驻状态管理生成控制。

快速上手

  1. 1

    安装

    通过 Homebrew tap 安装预编译包。

    brew install lithos-ai/tap/lithos-metal
  2. 2

    启动服务

    指定模型启动本地服务,默认端口 8000,上下文 32K。

    lithos-metal serve --model nvidia/Qwen3.8-27B-NVFP4
  3. 3

    连接客户端

    在另一个终端启动已安装的编码客户端。

    lithos-metal claude
  4. 4

    调用 API

    使用 curl 测试聊天补全接口。

    curl http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"nvidia/Qwen3.8-27B-NVFP4","messages":[{"role":"user","content":"Explain how a GPU megakernel works."}],"max_completion_tokens":256,"stream":true}'

适合谁

  • 拥有 Apple Silicon Mac 并希望本地运行 LLM 的开发者
  • 需要低延迟推理服务的编码代理用户
  • 对 Metal 内核优化感兴趣的研究者

不太适合

  • 使用非 Apple Silicon 硬件的开发者
  • 需要多用户并发服务的生产环境用户
  • 追求广泛模型支持的用户

成熟度

  • 活跃度仓库创建于 2026 年 10 月,最近一次推送在 2026 年 10 月,活跃时间较短。
  • 文档README 包含快速开始、工作原理、硬件支持和 API 示例,并有设计文档链接。
  • 社区350 星、32 分支、38 个开放 issue,社区规模较小。
  • 上手难度提供 Homebrew 安装和 CLI 启动,但需要特定 macOS 版本和芯片后端,模型支持有限。

同类项目怎么选

  • MLXApple 官方的机器学习框架,提供更通用的模型支持,但非专门针对大内核推理优化。
  • llama.cpp支持跨平台和多种量化格式,但 Metal 后端优化程度不同,且不生成大内核。

使用前注意

  • · 需要 macOS 26+ 和 Apple Silicon Mac,且不同芯片后端支持程度不同,部分为未测量回退。
  • · 模型支持有限,主要针对 Qwen 系列,35B 混合 MoE 集成仍为实验性。
  • · 一次只能运行一个生成任务,不适合高并发场景。
  • · 使用 NVFP4 量化模型和 DSpark 头,需足够统一内存,且依赖特定模型仓库。