cocktailpeanut GitHub avatar

dalai

CSS
本地运行 LLaMA 工具cocktailpeanut最近推送 2024年6月19日
模型推理与部署12.9k1,304332 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在本地电脑上运行 LLaMA 和 Alpaca 模型的最简单方式。

Dalai 是一个让你能在自己电脑上运行 LLaMA 和 Alpaca 大语言模型的开源项目。它基于 llama.cpp、llama-dl CDN 和 alpaca.cpp 构建,提供跨平台支持(Linux、Mac、Windows),并附带一个可修改的 Web 应用和 JavaScript/Socket.io API。

推荐指数

3.0

适合想快速体验本地 LLaMA 的开发者,但项目已一年多未更新,且模型下载依赖外部服务。

近 7 天

+1

新增 Star

总 Star 排名

#552

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年3月13日

核心亮点

  • 1一键安装运行

    通过 npx 命令即可下载模型并启动 Web UI,无需复杂配置。

  • 2跨平台支持

    支持 Linux、Mac 和 Windows 三大操作系统。

  • 3内置 Web 界面

    自带可修改的 Web 应用,启动后浏览器访问即可对话。

  • 4提供 API

    附带 JavaScript 和 Socket.io API,方便集成到其他应用。

  • 5内存要求明确

    README 列出了不同模型大小的内存需求(7B 约 4GB,65B 约 32GB)。

适用场景

  • 本地体验大模型

    例如:开发者在个人电脑上运行 7B 模型,测试对话效果。

  • 离线环境使用

    例如:在没有网络连接的机器上部署已下载的模型进行推理。

  • 集成到自有应用

    例如:通过 JavaScript API 将模型能力嵌入到自己的 Web 工具中。

它是怎么工作的

  1. 第 1 步

    安装模型

    使用 npx dalai 命令下载并量化 LLaMA 或 Alpaca 模型到本地。

  2. 第 2 步

    启动服务

    运行 npx dalai serve 启动本地 Web 服务器。

  3. 第 3 步

    浏览器访问

    打开 http://localhost:3000 即可通过 Web 界面与模型交互。

  4. 第 4 步

    API 调用

    也可通过内置的 JavaScript 或 Socket.io API 编程调用模型。

快速上手

  1. 1

    安装 Node.js

    确保系统已安装 Node.js 18 或更高版本。

  2. 2

    下载模型

    以 Alpaca 7B 为例,运行命令下载模型。

    npx dalai alpaca install 7B
  3. 3

    启动 Web UI

    运行命令启动本地服务器。

    npx dalai serve
  4. 4

    访问界面

    在浏览器中打开 http://localhost:3000 开始使用。

适合谁

  • 想快速在本地运行 LLaMA 的开发者
  • 需要离线使用大模型的研究者
  • 希望有 Web 界面和 API 的集成者

不太适合

  • 追求最新模型和长期维护的用户
  • 没有足够磁盘空间或内存的设备

成熟度

  • 活跃度最后更新于 2024 年 6 月,已超过一年无新提交。
  • 文档README 较详细,包含各平台步骤和故障排除,但部分链接可能过时。
  • 社区有 12k+ star 和 300+ issue,但近期讨论活跃度下降。
  • 上手难度npx 命令简化了安装和启动,但 Windows 需注意使用 cmd 而非 powershell。

同类项目怎么选

  • llama.cpp更底层,需要手动编译和配置,但性能优化更深入。
  • Ollama提供更现代的模型管理和运行体验,支持更多模型格式。
  • text-generation-webui功能更丰富的 Web 界面,支持多种模型后端和扩展。

使用前注意

  • · 项目采用 MIT 许可证,但 LLaMA 模型本身有独立的使用条款,需遵守 Meta 的规定。
  • · 模型下载依赖外部 CDN 服务,可能因网络问题失败。
  • · 大模型需要大量磁盘空间(如 65B 全量模型超过 400GB),请提前规划。
  • · 项目已一年多未更新,可能无法兼容最新系统或依赖版本。

主题标签

aillamallm