SemiAnalysisAI GitHub avatar

InferenceX

Python
推理加速器评测平台SemiAnalysisAI最近推送 2026年11月19日
模型推理与部署Apache-2.02,059382164 issues7 天 +33

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

持续跟踪主流推理框架性能的开源基准测试平台。

InferenceX(前身 InferenceMAX)是 SemiAnalysisAI 维护的开源推理性能研究平台,用自动化基准测试持续测量 vLLM、SGLang、TensorRT-LLM 等推理框架在 NVIDIA、AMD、TPU 等硬件上的真实表现。仓库包含端到端推理服务、网络通信、算子内核、硬件微基准、功耗建模、视频生成等多个子项目,并提供公开的实时性能看板。

推荐指数

4.0

想了解或复现主流推理框架在多种加速卡上的性能,这是目前少有的持续更新、覆盖硬件广的开源基准平台。

近 7 天

+33

新增 Star

总 Star 排名

#2251

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年7月13日

核心亮点

  • 1持续基准而非一次性

    随框架版本和新硬件发布不断更新测试结果,避免基准数据过期。

  • 2硬件覆盖广

    官方支持 GB300、GB200、B200、MI355X、MI300X、H200、H100、TPUv7x 等多类加速卡。

  • 3框架覆盖全

    同时测试 vLLM、SGLang、TensorRT-LLM 等主流推理栈。

  • 4多层测试体系

    从端到端服务、集合通信、算子内核到硬件微基准分层测量。

  • 5公开实时看板

    结果同步到公开网站,可直接查看性能曲线。

适用场景

  • 选型对比

    例如:比较同一模型在 B200 与 MI355X 上跑 vLLM 的吞吐和延迟差异。

  • 框架版本评估

    例如:升级 SGLang 版本后,用相同配置复测确认性能是否提升。

  • 硬件采购参考

    例如:参考官方看板中 GB200 NVL72 与 H200 的实测数据做容量规划。

  • 功耗与成本分析

    例如:利用 power_model 从 GPU、CPU、内存遥测估算系统功耗。

它是怎么工作的

  1. 第 1 步

    准备环境

    在受支持的 GPU/加速卡机器或云实例上部署测试环境。

  2. 第 2 步

    选择子项目

    按需求选用 e2e 端到端、CollectiveX 通信、OperatorX 算子等目录。

  3. 第 3 步

    运行基准

    用仓库脚本对指定模型和推理框架发起压测并采集指标。

  4. 第 4 步

    汇总结果

    将结果与官方看板数据对照,或提交到社区看板展示。

快速上手

  1. 1

    克隆仓库

    获取代码与各子项目脚本。

    git clone https://github.com/SemiAnalysisAI/InferenceX.git
  2. 2

    查看子项目说明

    进入 inferencex-e2e 等目录阅读各自的 README 与依赖要求。

  3. 3

    准备硬件环境

    确认所用加速卡在官方支持列表中,并装好对应驱动与推理框架。

  4. 4

    运行基准

    按子项目文档执行测试脚本,记录吞吐、延迟与功耗数据。

适合谁

  • 做推理性能评估的研究者
  • 需要硬件选型依据的工程师
  • 维护推理服务的 MLOps 团队
  • 关注推理框架进展的开发者

不太适合

  • 没有对应加速卡资源的个人开发者
  • 只想快速部署上线推理服务的用户

成熟度

  • 活跃度2025 年创建,最近一次推送在 2026 年 11 月,更新频繁。
  • 文档README 信息丰富,但具体子项目上手细节需逐个目录查看。
  • 社区约 2000 star、370+ fork,被多家机构和框架社区引用。
  • 上手难度需要多卡高端硬件和框架环境,普通开发者难以直接复现。

同类项目怎么选

  • vLLM benchmarkvLLM 自带基准脚本只测自身框架,InferenceX 横向对比多个框架和硬件。
  • MLPerf InferenceMLPerf 是标准化竞赛式基准,更新周期长;InferenceX 强调持续、近实时更新。
  • SGLang benchmarkSGLang 官方基准聚焦自身,InferenceX 覆盖 SGLang、vLLM、TensorRT-LLM 等。

使用前注意

  • · 需要 B200、MI300X 等高端加速卡,硬件门槛高。
  • · 只有官方仓库结果被视为正式数据,fork 结果需标注为非官方。
  • · 部分子项目(通信、算子、微基准)仍标注为实验性 Beta。
  • · 采用 Apache-2.0 许可,商用前仍需确认依赖组件许可。

主题标签

pytorchsglangvllmamdcudanvidiarocmdeepseekkimiagenticagentic-aibenchmarkingbenchmarksgpuinferencellm-inferencellm-servingmlopsqwentensorrt-llm