Tiiny-AI GitHub avatar

PowerInfer

C++
本地大模型推理引擎Tiiny-AI最近推送 2026年5月11日
模型推理与部署MIT9,891621135 issues7 天 +14

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

利用激活局部性在消费级 GPU 上高速运行大模型的推理引擎。

PowerInfer 是一个面向本地部署的大语言模型推理与服务引擎,用 C++ 编写。它利用 LLM 推理中神经元激活的幂律分布特性,将高频激活的“热”神经元预加载到 GPU,低频的“冷”神经元交给 CPU 计算,从而在单块消费级 GPU 上实现高速推理。

推荐指数

4.0

适合想在消费级硬件上跑大模型并追求速度的开发者,但需使用特定稀疏模型才能获得加速。

近 7 天

+14

新增 Star

总 Star 排名

#694

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年12月15日

核心亮点

  • 1激活局部性设计

    利用热/冷神经元分布,减少 GPU 显存需求和 CPU-GPU 数据传输。

  • 2CPU/GPU 混合推理

    热神经元在 GPU 计算,冷神经元在 CPU 计算,平衡负载。

  • 3消费级硬件优化

    在单块 RTX 4090 上运行 Falcon-40B 可达 13.2 tokens/s 平均速度。

  • 4兼容 llama.cpp 生态

    大部分 examples 用法与 llama.cpp 相同,支持其模型权重但无加速效果。

  • 5多平台支持

    支持 Linux、Windows 的 x86-64 CPU 与 NVIDIA GPU,macOS 仅 CPU。

适用场景

  • 本地私有化部署大模型

    例如:在配备 RTX 4090 的工作站上部署 Falcon-40B 或 Llama2 系列模型,提供低延迟 API 服务。

  • 消费级 GPU 跑大参数模型

    例如:用单张 24GB 显存的显卡运行 40B 参数模型,通过 CPU/GPU 混合推理突破显存限制。

  • 稀疏模型推理加速

    例如:使用 TurboSparse 或 ProSparse 系列稀疏模型,获得比 llama.cpp 更快的生成速度。

它是怎么工作的

  1. 第 1 步

    识别热/冷神经元

    根据激活频率将神经元分为高频激活的热神经元和低频的冷神经元。

  2. 第 2 步

    预加载热神经元到 GPU

    将热神经元权重常驻 GPU 显存,避免频繁传输。

  3. 第 3 步

    CPU 计算冷神经元

    冷神经元在 CPU 上计算,减少 GPU 显存占用和 CPU-GPU 数据交换。

  4. 第 4 步

    自适应预测与稀疏算子

    集成预测器判断神经元激活,并用稀疏算子加速计算。

快速上手

  1. 1

    安装依赖

    安装 CMake 等构建工具,克隆仓库。

  2. 2

    编译项目

    使用 CMake 构建,具体命令参考 README 安装章节。

  3. 3

    下载模型权重

    从 Hugging Face 获取支持的模型(如 Falcon-40B、Llama2、ProSparse 等)。

  4. 4

    运行推理

    参照 examples 目录下的示例启动服务或生成。

适合谁

  • 拥有消费级 NVIDIA GPU 的开发者
  • 需要本地私有化部署大模型的团队
  • 关注推理速度优化的研究人员

不太适合

  • 没有 GPU 或仅用 macOS 且追求显著加速的用户
  • 需要直接使用非稀疏模型且不愿转换权重的用户

成熟度

  • 活跃度最近更新于 2026 年 5 月,持续有版本发布和模型支持。
  • 文档README 较详细但安装步骤不完整,部分链接指向外部。
  • 社区近 1 万 star、620 fork,135 个开放 issue,社区活跃。
  • 上手难度需要编译和下载特定模型,对新手有一定门槛。

同类项目怎么选

  • llama.cpp通用性更强,支持更多模型格式和量化,但 PowerInfer 在稀疏模型上速度更快。
  • vLLM面向服务器级 GPU 的高吞吐推理,PowerInfer 专注消费级单卡本地部署。
  • Ollama更易用的模型管理工具,底层可集成多种引擎,PowerInfer 是底层推理引擎。

使用前注意

  • · 加速效果依赖 ReLU 稀疏模型(如 TurboSparse、ProSparse),普通模型无性能提升。
  • · macOS 仅支持 CPU 推理,性能提升不明显。
  • · 需要 x86-64 CPU 且支持 AVX2 指令集。
  • · MIT 许可证,可商用,但需注意模型本身的许可证。

主题标签

large-language-modelsllamallmllm-inferencelocal-inference