RightNow-AI GitHub avatar

picolm

C
嵌入式大模型推理工具RightNow-AI最近推送 2026年2月23日
模型推理与部署MIT2,21827023 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用纯 C 写的轻量推理引擎,让 10 美元开发板也能跑 10 亿参数模型。

PicoLM 是一个从零实现的极简 LLM 推理引擎,约 2500 行 C11,无第三方依赖,编译后单个二进制约 80KB。它直接读取 GGUF 格式的 LLaMA 架构模型(如 TinyLlama 1.1B),通过 mmap 把 638MB 模型留在磁盘、逐层流式加载,运行时内存约 45MB,可在树莓派 Zero 2W、LicheeRV 等 256MB 级设备上离线推理。它同时被设计为 PicoClaw 轻量 AI 助手的本地推理后端。

推荐指数

4.0

想在低配板子上离线跑小模型的开发者值得一试,但速度只有每秒几个 token。

总 Star 排名

#2153

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年2月19日

核心亮点

  • 1极低内存占用

    模型留在磁盘上按层 mmap 加载,运行时内存约 45MB。

  • 2零依赖纯 C

    约 2500 行 C11,单个约 80KB 二进制,不需要 Python 运行时。

  • 3直接读 GGUF

    支持 GGUF v2/v3 及 Q2_K 到 Q8_0 等多种量化格式,无需转换。

  • 4结构化输出

    --json 语法模式保证 1B 模型也能输出合法 JSON,便于工具调用。

  • 5配套 PicoClaw

    可作为 Go 写的 PicoClaw 助手的本地推理后端,组成全离线方案。

适用场景

  • 嵌入式离线问答

    例如:在树莓派 Zero 2W 上接一个命令行问答,不联网也能回答简单问题。

  • 低成本 AI 助手

    例如:用 LicheeRV Nano 加 PicoClaw 搭一个能调用工具的离线助手。

  • 学习推理引擎实现

    例如:阅读约 2500 行 C 代码,了解 GGUF 解析、量化和注意力计算。

它是怎么工作的

  1. 第 1 步

    加载模型

    直接解析 GGUF 文件头与张量信息,不做格式转换。

  2. 第 2 步

    按层流式读取

    用 mmap 把权重留在磁盘,推理时逐层调入内存。

  3. 第 3 步

    量化计算

    支持 K-Quant 等格式,配合 FP16 KV 缓存和 Flash Attention 降低内存。

  4. 第 4 步

    流式输出

    从 stdin 读提示词,向 stdout 逐 token 输出回复。

快速上手

  1. 1

    编译

    在 picolm 目录下按目标平台编译。

    cd picolm && make native    # 或 make pi(树莓派)
  2. 2

    下载模型

    一次性下载约 638MB 的 TinyLlama GGUF 模型。

    make model
  3. 3

    命令行推理

    通过管道传入提示词并指定生成长度与线程数。

    echo "Explain gravity" | ./picolm model.gguf -n 100 -j 4
  4. 4

    一键安装

    README 提供脚本,可连同 PicoClaw 一起安装。

    curl -sSL https://raw.githubusercontent.com/RightNow-AI/picolm/main/install.sh | bash

适合谁

  • 做嵌入式或边缘设备本地推理的开发者
  • 想低成本搭建离线 AI 助手的人
  • 对 C 语言推理引擎实现感兴趣的学习者

不太适合

  • 需要高吞吐或低延迟对话的用户
  • 只想开箱即用、不愿编译和调参的人

成熟度

  • 活跃度仓库创建于 2026-02-19,最近一次推送为 2026-02-22,属于新项目。
  • 文档README 覆盖架构、性能表、配置和安装步骤,信息较完整。
  • 社区约 2200 star、269 fork、23 个未关闭 issue,已有一定关注。
  • 上手难度需要自行编译并下载模型,但提供 make 目标和一键安装脚本。

同类项目怎么选

  • llama.cpp功能更全、生态更大,但代码量和依赖更多,资源占用更高。
  • llamafile把模型和运行时打包成单文件可执行程序,偏向桌面分发而非嵌入式。

使用前注意

  • · 生成速度很慢,最低端板子约每秒 1 个 token,只适合短回复。
  • · 模型文件约 638MB,需预留磁盘空间,且依赖 mmap 的文件系统支持。
  • · 主要面向 LLaMA 架构的 GGUF 模型,其他架构不一定兼容。
  • · 采用 MIT 许可,可商用,但模型本身的许可需单独确认。

主题标签

armembeddedinferencellmopenclawpicoclawquantizationraspberry-pirisc-v