AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 WebAssembly 程序控制大模型推理过程,实现约束解码和动态提示编辑。
AICI 是微软研究院开发的原型项目,让开发者用 Wasm 编写控制器程序,在 LLM 逐 token 解码时实时约束和引导输出。控制器可动态编辑提示词、协调并行生成,并保持请求状态。项目基于 Rust 和 Wasmtime,已集成 llama.cpp、HuggingFace Transformers 和 rLLM,vLLM 支持仍在开发中。
推荐指数
适合想实验可编程 LLM 控制逻辑的开发者,但项目已停止活跃维护,生产使用需谨慎。
总 Star 排名
#2241
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年9月27日
核心亮点
1实时控制生成
在 token 解码过程中运行自定义逻辑,约束输出格式或动态修改提示。
2Wasm 沙箱安全
控制器编译为 Wasm 模块,无法访问文件系统或网络,隔离性好。
3多语言编写
任何能编译到 Wasm 的语言(Rust、C、C++)或 Wasm 内解释的语言(Python、JS)均可。
4低开销并行
Wasm 模块编译为原生代码,与推理引擎并行运行,额外开销小。
5多引擎兼容
抽象推理引擎细节,控制器可跨 llama.cpp、Transformers、rLLM 等使用。
适用场景
约束解码
例如:强制模型输出符合 JSON Schema 的文本,避免格式错误。
动态提示编辑
例如:根据生成内容实时插入或修改提示词,引导对话走向。
多智能体对话
例如:协调多个并行生成任务,实现角色间的交互与状态维护。
它是怎么工作的
第 1 步
编写控制器
用 Rust、Python 等语言编写逻辑,编译为 Wasm 模块。
第 2 步
部署到运行时
将 Wasm 模块加载到 AICI Runtime,与推理引擎同机运行。
第 3 步
逐 token 干预
在 LLM 生成每个 token 时,控制器可检查状态并施加约束或修改。
第 4 步
返回结果
控制器维护请求状态,最终输出受控的生成文本。
快速上手
- 1
准备环境
安装 Rust、wasm32-wasi 目标及 Python 依赖(或使用 devcontainer)。
rustup target add wasm32-wasi && pip install pytest pytest-forked ujson posix_ipc numpy requests - 2
启动服务
进入 rllm-llamacpp 目录,运行 server.sh 并指定模型(如 phi2)。
cd rllm/rllm-llamacpp && ./server.sh phi2 - 3
编写控制器
参考示例用 Python 或 Rust 编写 Wasm 控制器,实现约束逻辑。
- 4
测试控制效果
通过 HTTP 接口发送请求,观察控制器对输出的影响。
适合谁
- 想实验可编程 LLM 控制逻辑的研究者
- 需要约束解码或动态提示的开发者
- 熟悉 Rust 和 Wasm 的工程师
不太适合
- 寻求生产级稳定方案的用户
- 不熟悉 Rust/Wasm 的初学者
- 需要开箱即用工具的业务开发者
成熟度
- 活跃度最后更新于 2025 年 1 月,README 指明 LLGuidance 为活跃演进,项目本身已停止开发。
- 文档README 包含快速入门和架构说明,但作为原型项目文档深度有限。
- 社区约 2000 star、87 fork,41 个开放 issue,社区规模较小。
- 上手难度需要 Rust、Wasm 和推理引擎配置,上手门槛较高。
同类项目怎么选
- LLGuidanceAICI 官方推荐的演进项目,专注于约束解码,更活跃。
- Guidance提供模板语言控制生成,可运行在 AICI 之上,但非 Wasm 沙箱架构。
- LMQL查询语言式控制生成,同样可基于 AICI 运行,抽象层次不同。
使用前注意
- · 项目为微软研究院原型,已停止活跃开发,建议关注 LLGuidance。
- · Windows 需使用 WSL2 或 devcontainer,原生支持尚未完成。
- · CUDA 后端依赖特定 libtorch 版本,配置复杂。
- · MIT 许可证,可自由使用,但需自行承担维护风险。
