OmniJev GitHub avatar

Flide

Python
决策模型推理引擎OmniJev最近推送 2026年11月16日
模型推理与部署Apache-2.05433610 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向决策模型的高性能推理引擎,用精确状态分叉加速多问题推理。

Flide 是面向 Jev 风格决策模型的推理基础设施,基于 PyTorch、Triton 与 CUDA 实现。它通过精确状态分叉(exact state forking)让同一上下文下的多个问题共享一次前向计算,官方称比 vLLM 和 SGLang 快最多 9.5 倍,并提供 Jev 的 /v1/systemone 接口。

推荐指数

4.0

方向明确、更新频繁的决策模型推理引擎,适合需要低延迟批量判定的场景,但生态较新需先验证模型兼容性。

总 Star 排名

#3629

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月24日

核心亮点

  • 1精确状态分叉

    同一上下文分叉出多个问题,每个答案与单独提问时一致。

  • 2速度优势明显

    README 称相比 vLLM 和 SGLang 最多快 9.5 倍。

  • 3模型覆盖广

    支持 Gemma、Qwen、LiquidAI d1 及多个决策模型家族。

  • 4量化与多模态

    支持 FP8 量化,部分模型可读图片。

  • 5自带校验工具

    flide verify 可在自有模型和请求上检查分叉是否精确。

适用场景

  • 批量判定与打标

    例如:用八个问题给一万封邮件打标,单张 H200 约 28 秒完成。

  • 低延迟 Agent 决策

    例如:Agent 在同一上下文下连续做多个是/否判断,共享一次前向计算。

  • 模型评测打分

    例如:用决策模型对同一输入并行给出多维度评分。

它是怎么工作的

  1. 第 1 步

    加载模型

    按支持的模型家族加载权重,可选 FP8 量化。

  2. 第 2 步

    构建共享状态

    对同一上下文只计算一次内部状态。

  3. 第 3 步

    状态分叉

    把状态分叉给多个问题,各自完成一次前向计算。

  4. 第 4 步

    返回结果

    通过 /v1/systemone 接口返回每个问题的答案。

快速上手

  1. 1

    安装

    从 PyPI 安装 flide 包。

    pip install flide
  2. 2

    启动服务

    按文档加载支持的决策模型并启动推理服务。

  3. 3

    调用接口

    向 /v1/systemone 发送请求,可在一次请求体里放多个问题。

  4. 4

    校验精确性

    用 verify 命令确认分叉结果与单独推理一致。

    flide verify

适合谁

  • 需要低延迟批量判定的开发者
  • 部署决策模型 Agent 服务的团队
  • 使用 Gemma、Qwen 等受支持模型的用户

不太适合

  • 需要通用文本生成而非决策判定的用户
  • 没有 NVIDIA GPU 的环境

成熟度

  • 活跃度创建约一个月,版本迭代密集,几乎每天有新模型支持。
  • 文档有独立文档站、论文和多语言 README,但部分细节需查文档。
  • 社区532 star、35 fork、10 个开放 issue,社区规模尚小。
  • 上手难度需 NVIDIA GPU 与特定模型,上手依赖文档和命令行工具。

同类项目怎么选

  • vLLM通用 LLM 推理服务,覆盖面更广,但无决策模型专用的状态分叉优化。
  • SGLang通用推理框架,侧重结构化生成与调度,本项目专注决策场景加速。

使用前注意

  • · 依赖 NVIDIA GPU 与 CUDA,需确认显卡和预编译内核支持情况。
  • · 仅支持 README 列出的决策模型家族,通用模型未必可用。
  • · 项目较新,生产使用前建议用 flide verify 验证结果一致性。
  • · 采用 Apache-2.0 许可,商用需遵守许可条款。

主题标签

gemmainference-enginellm-inferencellm-servingpytorchqwentritonai-agentscudadecision-makingdeterministic-inferencekv-cachelarge-language-modelslinear-attentionllmllm-agentsllm-as-a-judgemultimodalprefix-cachingjev