microsoft GitHub avatar

aici

Rust
可编程大模型推理框架microsoft最近推送 2025年1月23日
模型推理与部署MIT2,0738741 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 WebAssembly 程序控制大模型推理过程,实现约束解码和动态提示编辑。

AICI 是微软研究院开发的原型项目,让开发者用 Wasm 编写控制器程序,在 LLM 逐 token 解码时实时约束和引导输出。控制器可动态编辑提示词、协调并行生成,并保持请求状态。项目基于 Rust 和 Wasmtime,已集成 llama.cpp、HuggingFace Transformers 和 rLLM,vLLM 支持仍在开发中。

推荐指数

3.0

适合想实验可编程 LLM 控制逻辑的开发者,但项目已停止活跃维护,生产使用需谨慎。

总 Star 排名

#2241

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年9月27日

核心亮点

  • 1实时控制生成

    在 token 解码过程中运行自定义逻辑,约束输出格式或动态修改提示。

  • 2Wasm 沙箱安全

    控制器编译为 Wasm 模块,无法访问文件系统或网络,隔离性好。

  • 3多语言编写

    任何能编译到 Wasm 的语言(Rust、C、C++)或 Wasm 内解释的语言(Python、JS)均可。

  • 4低开销并行

    Wasm 模块编译为原生代码,与推理引擎并行运行,额外开销小。

  • 5多引擎兼容

    抽象推理引擎细节,控制器可跨 llama.cpp、Transformers、rLLM 等使用。

适用场景

  • 约束解码

    例如:强制模型输出符合 JSON Schema 的文本,避免格式错误。

  • 动态提示编辑

    例如:根据生成内容实时插入或修改提示词,引导对话走向。

  • 多智能体对话

    例如:协调多个并行生成任务,实现角色间的交互与状态维护。

它是怎么工作的

  1. 第 1 步

    编写控制器

    用 Rust、Python 等语言编写逻辑,编译为 Wasm 模块。

  2. 第 2 步

    部署到运行时

    将 Wasm 模块加载到 AICI Runtime,与推理引擎同机运行。

  3. 第 3 步

    逐 token 干预

    在 LLM 生成每个 token 时,控制器可检查状态并施加约束或修改。

  4. 第 4 步

    返回结果

    控制器维护请求状态,最终输出受控的生成文本。

快速上手

  1. 1

    准备环境

    安装 Rust、wasm32-wasi 目标及 Python 依赖(或使用 devcontainer)。

    rustup target add wasm32-wasi && pip install pytest pytest-forked ujson posix_ipc numpy requests
  2. 2

    启动服务

    进入 rllm-llamacpp 目录,运行 server.sh 并指定模型(如 phi2)。

    cd rllm/rllm-llamacpp && ./server.sh phi2
  3. 3

    编写控制器

    参考示例用 Python 或 Rust 编写 Wasm 控制器,实现约束逻辑。

  4. 4

    测试控制效果

    通过 HTTP 接口发送请求,观察控制器对输出的影响。

适合谁

  • 想实验可编程 LLM 控制逻辑的研究者
  • 需要约束解码或动态提示的开发者
  • 熟悉 Rust 和 Wasm 的工程师

不太适合

  • 寻求生产级稳定方案的用户
  • 不熟悉 Rust/Wasm 的初学者
  • 需要开箱即用工具的业务开发者

成熟度

  • 活跃度最后更新于 2025 年 1 月,README 指明 LLGuidance 为活跃演进,项目本身已停止开发。
  • 文档README 包含快速入门和架构说明,但作为原型项目文档深度有限。
  • 社区约 2000 star、87 fork,41 个开放 issue,社区规模较小。
  • 上手难度需要 Rust、Wasm 和推理引擎配置,上手门槛较高。

同类项目怎么选

  • LLGuidanceAICI 官方推荐的演进项目,专注于约束解码,更活跃。
  • Guidance提供模板语言控制生成,可运行在 AICI 之上,但非 Wasm 沙箱架构。
  • LMQL查询语言式控制生成,同样可基于 AICI 运行,抽象层次不同。

使用前注意

  • · 项目为微软研究院原型,已停止活跃开发,建议关注 LLGuidance。
  • · Windows 需使用 WSL2 或 devcontainer,原生支持尚未完成。
  • · CUDA 后端依赖特定 libtorch 版本,配置复杂。
  • · MIT 许可证,可自由使用,但需自行承担维护风险。

主题标签

airustwasmwasmtimeinferencelanguage-modelllmllm-frameworkllm-inferencellm-servingllmopsmodel-servingtransformer