chrishayuk GitHub avatar

larql

Rust
Rust 模型运行时chrishayuk最近推送 2026年11月19日
模型推理与部署Apache-2.01,18521426 issues7 天 +10

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 Rust 运行、服务、查询和编辑 AI 模型,并能观察模型内部。

LARQL 是一个用 Rust 编写的模型运行时,基于可执行、可检查的 VINDEX3 模型格式。它可以直接加载 Hugging Face 模型,支持对话、OpenAI 兼容 API 服务、LQL 查询语言、运行时内部观测和权重编辑。

推荐指数

4.0

功能覆盖面广,把推理、观测和编辑整合在一个工具里,适合想深入了解模型的开发者。

近 7 天

+10

新增 Star

总 Star 排名

#3188

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年3月27日

核心亮点

  • 1多合一运行时

    运行、对话、API 服务、查询、编辑都在一个 CLI 里完成。

  • 2可观测内部

    observe 命令记录每层贡献,便于分析模型行为。

  • 3LQL 查询语言

    用类 SQL 语句推理、打补丁、导出权重。

  • 4热补丁编辑

    运行时应用 .vlp 权重补丁,可撤销,不改磁盘模型。

  • 5导出 GGUF

    编辑后可编译成新容器并导出给 llama.cpp 或 Ollama。

适用场景

  • 本地模型推理

    例如:larql run hf://Qwen/Qwen3-0.6B "法国首都是哪里?"

  • 为应用提供 API

    例如:larql serve Qwen3-0.6B --port 8080 后调用 /v1/chat/completions

  • 模型可解释性研究

    例如:用 observe 记录每层贡献并写入 run.jsonl 分析

  • 权重实验与编辑

    例如:用 LQL 写 .vlp 补丁,应用后对比预测变化

它是怎么工作的

  1. 第 1 步

    拉取模型

    从 Hugging Face 下载并首次转换为 VINDEX3 缓存。

  2. 第 2 步

    加载执行

    运行时按 VINDEX3 格式加载并推理,macOS 用 Metal,其他用 CPU 后端。

  3. 第 3 步

    查询与观测

    LQL 语句执行推理、捕获激活值,observe 记录各层贡献。

  4. 第 4 步

    打补丁

    将权重修改写成 .vlp 补丁,在会话中应用或移除。

  5. 第 5 步

    导出

    把补丁编译进新容器,可导出为 GGUF。

快速上手

  1. 1

    安装

    下载预编译二进制,无需 Rust 工具链。

    curl -L https://github.com/chrishayuk/larql/releases/latest/download/larql-aarch64-apple-darwin.tar.gz | tar xz
  2. 2

    检查环境

    确认硬件、后端、缓存和 Hugging Face 访问正常。

    larql doctor
  3. 3

    运行模型

    首次运行会转换并缓存模型。

    larql run hf://Qwen/Qwen3-0.6B "What is the capital of France?"
  4. 4

    启动服务

    以 OpenAI 兼容 API 提供服务。

    larql serve Qwen3-0.6B --port 8080

适合谁

  • 想本地运行和部署模型的开发者
  • 关注模型可解释性的研究者
  • 需要实验权重编辑的工程师
  • 希望用 Rust 构建推理服务的团队

不太适合

  • 只想开箱即用聊天界面的普通用户
  • 需要成熟生产级推理框架的团队

成熟度

  • 活跃度创建于 2026 年 3 月,最近 2026 年 11 月仍有推送。
  • 文档README 详细,配有入门、LQL、格式等多份文档。
  • 社区约 1175 star、213 fork,20 个开放 issue,规模中等。
  • 上手难度提供预编译二进制,但涉及 LQL 和 VINDEX3 概念,需要学习。

同类项目怎么选

  • llama.cpp更成熟的通用推理引擎,LARQL 额外提供内部观测和权重编辑。
  • Ollama侧重易用的本地模型管理,LARQL 侧重可检查和可编辑。
  • vLLM面向高吞吐服务,LARQL 更偏实验和可解释性。

使用前注意

  • · 采用 Apache-2.0 许可,商用前仍需确认依赖许可。
  • · Linux 版需要 OpenBLAS 运行时,macOS 使用 Metal 后端。
  • · 首次运行需下载并转换模型,占用磁盘和时间。
  • · 权重编辑和知识编辑部分标注为实验性,结果需自行验证。

主题标签

huggingfaceinferencellmmechanistic-interpretabilitymetalmodel-editingmodel-interpretabilityopenai-apirustvindex3