ROCm GitHub avatar

FastFlowLM

C++
AMD NPU 大模型推理工具ROCm最近推送 2026年11月19日
模型推理与部署NOASSERTION2,055180220 issues7 天 +14

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 AMD Ryzen AI NPU 上快速运行大模型的专用运行时。

FastFlowLM 是一个为 AMD Ryzen AI NPU 深度优化的本地大模型推理工具,支持 LLM、视觉、音频、嵌入和 MoE 模型。它提供单命令 CLI 和本地服务器模式,无需 GPU,安装包仅 17 MB,可在 20 秒内完成安装。

推荐指数

4.0

AMD NPU 用户运行本地大模型的省心选择,但硬件和驱动门槛明确。

近 7 天

+14

新增 Star

总 Star 排名

#2256

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年6月17日

核心亮点

  • 1NPU 专用优化

    完全运行在 Ryzen AI NPU 上,不占用 GPU 和 CPU。

  • 2轻量快速安装

    运行时仅 17 MB,安装约 20 秒,一条命令即可运行模型。

  • 3长上下文支持

    支持最高 256k tokens 的上下文长度。

  • 4多模态与 MoE

    除 LLM 外还支持视觉、音频、嵌入和 MoE 模型。

  • 5本地 API 服务

    提供 REST 和 OpenAI 兼容 API,方便集成到应用。

适用场景

  • 本地隐私对话

    例如:在终端运行 flm run llama3.2:1b,离线与模型对话,数据不出本机。

  • 应用集成推理

    例如:用 flm serve 启动本地服务,通过 OpenAI 兼容 API 接入自己的应用。

  • 低功耗边缘推理

    例如:在 Ryzen AI 笔记本上利用 NPU 跑模型,减少 CPU/GPU 占用和耗电。

它是怎么工作的

  1. 第 1 步

    安装运行时

    Windows 通过 MSI 安装包安装,Linux 按指南配置。

  2. 第 2 步

    下载模型

    从 HuggingFace 拉取针对 NPU 优化的模型内核。

  3. 第 3 步

    NPU 推理

    运行时调用 NPU 加速二进制内核执行模型推理。

  4. 第 4 步

    CLI 或 API 使用

    通过命令行交互,或启动本地服务器供应用调用。

快速上手

  1. 1

    安装 FLM

    下载并运行 Windows 安装包 flm-setup.msi。

  2. 2

    更新 NPU 驱动

    确保 AMD NPU 驱动版本为 32.0.203.311 或以上。

  3. 3

    运行模型

    在 PowerShell 中直接运行模型。

    flm run llama3.2:1b
  4. 4

    启动本地服务

    以服务器模式运行,默认端口 52625。

    flm serve llama3.2:1b

适合谁

  • 使用 AMD Ryzen AI 系列芯片的开发者
  • 希望在本地低功耗运行大模型的用户
  • 需要 OpenAI 兼容本地 API 的应用开发者

不太适合

  • 使用非 Ryzen AI NPU 硬件的用户
  • 需要完全开源推理内核的用户
  • 无法访问 HuggingFace 且不便手动下载模型的用户

成熟度

  • 活跃度2025 年创建,最近更新于 2026 年 11 月,已加入 ROCm 组织。
  • 文档有官网文档、快速开始指南、基准测试和模型列表。
  • 社区约 2000 star、179 fork,218 个开放 issue,有 Discord 频道。
  • 上手难度单命令 CLI 和 MSI 安装包,但需正确 NPU 驱动和网络访问。

使用前注意

  • · 仅支持带 XDNA2 NPU 的 AMD Ryzen AI 芯片(Strix、Strix Halo、Kraken、Gorgon Point)。
  • · NPU 加速二进制内核不开源,采用单独的二进制许可,商用免费但需保留声明。
  • · 需要较新的 AMD NPU 驱动(32.0.203.311 或以上)。
  • · 首次下载模型需要访问 HuggingFace,网络受限时需手动处理。

主题标签

amddeepseekllamallmnpu