SciSharp GitHub avatar

LLamaSharp

C#
.NET 本地大模型库SciSharp最近推送 2026年11月18日
模型推理与部署MIT3,82751720 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 .NET 应用中本地运行 LLaMA 等大模型的 C# 库。

LLamaSharp 是一个跨平台的 C#/.NET 库,基于 llama.cpp,让你在本地设备上高效运行 LLaMA、LLaVA 等大语言模型。它提供高层 API 和 RAG 支持,方便把 LLM 集成到自己的应用里。

推荐指数

4.0

对 .NET 开发者来说,这是目前最省事的本地 LLM 运行方案之一,生态和文档都比较完整。

近 7 天

+1

新增 Star

总 Star 排名

#1509

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年5月10日

核心亮点

  • 1跨平台后端

    提供 CPU、CUDA 12/13、Vulkan、Metal 等预编译后端包,无需自己编译 C++。

  • 2高层 API

    封装了对话、推理等常用操作,比直接调 llama.cpp 简单很多。

  • 3RAG 支持

    内置检索增强生成相关能力,方便做知识库问答类应用。

  • 4多模态

    除 LLaMA 外也支持 LLaVA 等多模态模型。

  • 5生态集成

    已有 BotSharp、LangChain、MaIN.NET 等集成,以及 Unity、Blazor、ASP.NET 示例。

适用场景

  • 桌面应用内嵌 AI 助手

    例如:用 WPF 或 WinForms 做一个本地聊天窗口,模型完全跑在用户电脑上。

  • ASP.NET 后端服务

    例如:部署一个兼容 OpenAI 接口风格的本地推理 API,供内部系统调用。

  • Unity 游戏 NPC 对话

    例如:在 Unity 项目中接入本地小模型,让 NPC 根据玩家输入生成回复。

  • 企业知识库问答

    例如:结合 RAG 把内部文档向量化,用本地模型回答员工问题,数据不出内网。

它是怎么工作的

  1. 第 1 步

    安装 NuGet 包

    安装 LLamaSharp 主包和对应硬件的后端包。

  2. 第 2 步

    准备 GGUF 模型

    从 HuggingFace 下载或自行转换出 GGUF 格式的模型文件。

  3. 第 3 步

    加载模型

    通过 LLamaSharp 的 API 加载模型和上下文参数。

  4. 第 4 步

    执行推理

    调用对话或补全接口,在 CPU 或 GPU 上生成结果。

快速上手

  1. 1

    安装主包

    在 NuGet 中安装 LLamaSharp。

    PM> Install-Package LLamaSharp
  2. 2

    安装后端

    根据设备选择 CPU、CUDA12、CUDA13 或 Vulkan 后端包。

    PM> Install-Package LLamaSharp.Backend.Cpu
  3. 3

    下载模型

    在 HuggingFace 搜索模型名 + gguf,下载量化版 GGUF 文件。

  4. 4

    运行示例

    参考官方 Console 示例或文档中的聊天会话代码开始调用。

适合谁

  • .NET/C# 开发者想在应用里集成大模型
  • 需要本地离线推理、数据不出内网的团队
  • 做 Unity 或桌面端 AI 功能的开发者

不太适合

  • 主要用 Python 生态、不需要 .NET 的开发者
  • 不想自己准备模型文件、希望开箱即用的用户

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续维护中。
  • 文档有快速开始、教程、FAQ 和 API 参考,文档站较完整。
  • 社区3.8k star、517 fork,有 Discord 和 QQ 群,issue 数量少。
  • 上手难度预编译后端省去编译 C++,但需自行准备 GGUF 模型文件。

同类项目怎么选

  • llama.cppC++ 原生实现,LLamaSharp 是它的 .NET 封装,后者对 C# 开发者更友好。
  • Semantic Kernel微软的 AI 编排框架,侧重连接多种模型服务,本地推理需配合 LLamaSharp 等后端。
  • LLamaWorker基于 LLamaSharp 的 ASP.NET Web API 封装,提供类似 OpenAI 的接口,属于上层应用。

使用前注意

  • · 采用 MIT 许可,商用友好。
  • · 需要自行下载或转换 GGUF 格式模型,模型文件较大。
  • · GPU 推理需匹配 CUDA 或 Vulkan 后端,硬件兼容性需提前确认。
  • · 模型发布版本与 LLamaSharp 版本存在对应关系,旧模型可能不兼容新版本。

主题标签

chatbotgptllamallamacppllmsemantic-kernelllavamulti-modalllama2llama3llama-cpp