AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
持续跟踪主流推理框架性能的开源基准测试平台。
InferenceX(前身 InferenceMAX)是 SemiAnalysisAI 维护的开源推理性能研究平台,用自动化基准测试持续测量 vLLM、SGLang、TensorRT-LLM 等推理框架在 NVIDIA、AMD、TPU 等硬件上的真实表现。仓库包含端到端推理服务、网络通信、算子内核、硬件微基准、功耗建模、视频生成等多个子项目,并提供公开的实时性能看板。
推荐指数
想了解或复现主流推理框架在多种加速卡上的性能,这是目前少有的持续更新、覆盖硬件广的开源基准平台。
近 7 天
+33
新增 Star
总 Star 排名
#2251
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年7月13日
核心亮点
1持续基准而非一次性
随框架版本和新硬件发布不断更新测试结果,避免基准数据过期。
2硬件覆盖广
官方支持 GB300、GB200、B200、MI355X、MI300X、H200、H100、TPUv7x 等多类加速卡。
3框架覆盖全
同时测试 vLLM、SGLang、TensorRT-LLM 等主流推理栈。
4多层测试体系
从端到端服务、集合通信、算子内核到硬件微基准分层测量。
5公开实时看板
结果同步到公开网站,可直接查看性能曲线。
适用场景
选型对比
例如:比较同一模型在 B200 与 MI355X 上跑 vLLM 的吞吐和延迟差异。
框架版本评估
例如:升级 SGLang 版本后,用相同配置复测确认性能是否提升。
硬件采购参考
例如:参考官方看板中 GB200 NVL72 与 H200 的实测数据做容量规划。
功耗与成本分析
例如:利用 power_model 从 GPU、CPU、内存遥测估算系统功耗。
它是怎么工作的
第 1 步
准备环境
在受支持的 GPU/加速卡机器或云实例上部署测试环境。
第 2 步
选择子项目
按需求选用 e2e 端到端、CollectiveX 通信、OperatorX 算子等目录。
第 3 步
运行基准
用仓库脚本对指定模型和推理框架发起压测并采集指标。
第 4 步
汇总结果
将结果与官方看板数据对照,或提交到社区看板展示。
快速上手
- 1
克隆仓库
获取代码与各子项目脚本。
git clone https://github.com/SemiAnalysisAI/InferenceX.git - 2
查看子项目说明
进入 inferencex-e2e 等目录阅读各自的 README 与依赖要求。
- 3
准备硬件环境
确认所用加速卡在官方支持列表中,并装好对应驱动与推理框架。
- 4
运行基准
按子项目文档执行测试脚本,记录吞吐、延迟与功耗数据。
适合谁
- 做推理性能评估的研究者
- 需要硬件选型依据的工程师
- 维护推理服务的 MLOps 团队
- 关注推理框架进展的开发者
不太适合
- 没有对应加速卡资源的个人开发者
- 只想快速部署上线推理服务的用户
成熟度
- 活跃度2025 年创建,最近一次推送在 2026 年 11 月,更新频繁。
- 文档README 信息丰富,但具体子项目上手细节需逐个目录查看。
- 社区约 2000 star、370+ fork,被多家机构和框架社区引用。
- 上手难度需要多卡高端硬件和框架环境,普通开发者难以直接复现。
同类项目怎么选
- vLLM benchmarkvLLM 自带基准脚本只测自身框架,InferenceX 横向对比多个框架和硬件。
- MLPerf InferenceMLPerf 是标准化竞赛式基准,更新周期长;InferenceX 强调持续、近实时更新。
- SGLang benchmarkSGLang 官方基准聚焦自身,InferenceX 覆盖 SGLang、vLLM、TensorRT-LLM 等。
使用前注意
- · 需要 B200、MI300X 等高端加速卡,硬件门槛高。
- · 只有官方仓库结果被视为正式数据,fork 结果需标注为非官方。
- · 部分子项目(通信、算子、微基准)仍标注为实验性 Beta。
- · 采用 Apache-2.0 许可,商用前仍需确认依赖组件许可。
