AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在 .NET 应用中本地运行 LLaMA 等大模型的 C# 库。
LLamaSharp 是一个跨平台的 C#/.NET 库,基于 llama.cpp,让你在本地设备上高效运行 LLaMA、LLaVA 等大语言模型。它提供高层 API 和 RAG 支持,方便把 LLM 集成到自己的应用里。
推荐指数
对 .NET 开发者来说,这是目前最省事的本地 LLM 运行方案之一,生态和文档都比较完整。
近 7 天
+1
新增 Star
总 Star 排名
#1509
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年5月10日
核心亮点
1跨平台后端
提供 CPU、CUDA 12/13、Vulkan、Metal 等预编译后端包,无需自己编译 C++。
2高层 API
封装了对话、推理等常用操作,比直接调 llama.cpp 简单很多。
3RAG 支持
内置检索增强生成相关能力,方便做知识库问答类应用。
4多模态
除 LLaMA 外也支持 LLaVA 等多模态模型。
5生态集成
已有 BotSharp、LangChain、MaIN.NET 等集成,以及 Unity、Blazor、ASP.NET 示例。
适用场景
桌面应用内嵌 AI 助手
例如:用 WPF 或 WinForms 做一个本地聊天窗口,模型完全跑在用户电脑上。
ASP.NET 后端服务
例如:部署一个兼容 OpenAI 接口风格的本地推理 API,供内部系统调用。
Unity 游戏 NPC 对话
例如:在 Unity 项目中接入本地小模型,让 NPC 根据玩家输入生成回复。
企业知识库问答
例如:结合 RAG 把内部文档向量化,用本地模型回答员工问题,数据不出内网。
它是怎么工作的
第 1 步
安装 NuGet 包
安装 LLamaSharp 主包和对应硬件的后端包。
第 2 步
准备 GGUF 模型
从 HuggingFace 下载或自行转换出 GGUF 格式的模型文件。
第 3 步
加载模型
通过 LLamaSharp 的 API 加载模型和上下文参数。
第 4 步
执行推理
调用对话或补全接口,在 CPU 或 GPU 上生成结果。
快速上手
- 1
安装主包
在 NuGet 中安装 LLamaSharp。
PM> Install-Package LLamaSharp - 2
安装后端
根据设备选择 CPU、CUDA12、CUDA13 或 Vulkan 后端包。
PM> Install-Package LLamaSharp.Backend.Cpu - 3
下载模型
在 HuggingFace 搜索模型名 + gguf,下载量化版 GGUF 文件。
- 4
运行示例
参考官方 Console 示例或文档中的聊天会话代码开始调用。
适合谁
- .NET/C# 开发者想在应用里集成大模型
- 需要本地离线推理、数据不出内网的团队
- 做 Unity 或桌面端 AI 功能的开发者
不太适合
- 主要用 Python 生态、不需要 .NET 的开发者
- 不想自己准备模型文件、希望开箱即用的用户
成熟度
- 活跃度最近一次推送在 2026 年 11 月,持续维护中。
- 文档有快速开始、教程、FAQ 和 API 参考,文档站较完整。
- 社区3.8k star、517 fork,有 Discord 和 QQ 群,issue 数量少。
- 上手难度预编译后端省去编译 C++,但需自行准备 GGUF 模型文件。
同类项目怎么选
- llama.cppC++ 原生实现,LLamaSharp 是它的 .NET 封装,后者对 C# 开发者更友好。
- Semantic Kernel微软的 AI 编排框架,侧重连接多种模型服务,本地推理需配合 LLamaSharp 等后端。
- LLamaWorker基于 LLamaSharp 的 ASP.NET Web API 封装,提供类似 OpenAI 的接口,属于上层应用。
使用前注意
- · 采用 MIT 许可,商用友好。
- · 需要自行下载或转换 GGUF 格式模型,模型文件较大。
- · GPU 推理需匹配 CUDA 或 Vulkan 后端,硬件兼容性需提前确认。
- · 模型发布版本与 LLamaSharp 版本存在对应关系,旧模型可能不兼容新版本。
