AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向决策模型的高性能推理引擎,用精确状态分叉加速多问题推理。
Flide 是面向 Jev 风格决策模型的推理基础设施,基于 PyTorch、Triton 与 CUDA 实现。它通过精确状态分叉(exact state forking)让同一上下文下的多个问题共享一次前向计算,官方称比 vLLM 和 SGLang 快最多 9.5 倍,并提供 Jev 的 /v1/systemone 接口。
推荐指数
方向明确、更新频繁的决策模型推理引擎,适合需要低延迟批量判定的场景,但生态较新需先验证模型兼容性。
总 Star 排名
#3629
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年10月24日
核心亮点
1精确状态分叉
同一上下文分叉出多个问题,每个答案与单独提问时一致。
2速度优势明显
README 称相比 vLLM 和 SGLang 最多快 9.5 倍。
3模型覆盖广
支持 Gemma、Qwen、LiquidAI d1 及多个决策模型家族。
4量化与多模态
支持 FP8 量化,部分模型可读图片。
5自带校验工具
flide verify 可在自有模型和请求上检查分叉是否精确。
适用场景
批量判定与打标
例如:用八个问题给一万封邮件打标,单张 H200 约 28 秒完成。
低延迟 Agent 决策
例如:Agent 在同一上下文下连续做多个是/否判断,共享一次前向计算。
模型评测打分
例如:用决策模型对同一输入并行给出多维度评分。
它是怎么工作的
第 1 步
加载模型
按支持的模型家族加载权重,可选 FP8 量化。
第 2 步
构建共享状态
对同一上下文只计算一次内部状态。
第 3 步
状态分叉
把状态分叉给多个问题,各自完成一次前向计算。
第 4 步
返回结果
通过 /v1/systemone 接口返回每个问题的答案。
快速上手
- 1
安装
从 PyPI 安装 flide 包。
pip install flide - 2
启动服务
按文档加载支持的决策模型并启动推理服务。
- 3
调用接口
向 /v1/systemone 发送请求,可在一次请求体里放多个问题。
- 4
校验精确性
用 verify 命令确认分叉结果与单独推理一致。
flide verify
适合谁
- 需要低延迟批量判定的开发者
- 部署决策模型 Agent 服务的团队
- 使用 Gemma、Qwen 等受支持模型的用户
不太适合
- 需要通用文本生成而非决策判定的用户
- 没有 NVIDIA GPU 的环境
成熟度
- 活跃度创建约一个月,版本迭代密集,几乎每天有新模型支持。
- 文档有独立文档站、论文和多语言 README,但部分细节需查文档。
- 社区532 star、35 fork、10 个开放 issue,社区规模尚小。
- 上手难度需 NVIDIA GPU 与特定模型,上手依赖文档和命令行工具。
同类项目怎么选
- vLLM通用 LLM 推理服务,覆盖面更广,但无决策模型专用的状态分叉优化。
- SGLang通用推理框架,侧重结构化生成与调度,本项目专注决策场景加速。
使用前注意
- · 依赖 NVIDIA GPU 与 CUDA,需确认显卡和预编译内核支持情况。
- · 仅支持 README 列出的决策模型家族,通用模型未必可用。
- · 项目较新,生产使用前建议用 flide verify 验证结果一致性。
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
