receptron GitHub avatar

laya

TypeScript
Laya 决策模型运行库receptron最近推送 2026年10月17日
模型推理与部署MIT1,089905 issues7 天 +21

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

在 Node.js 里本地运行 Laya 决策模型,一次前向传播输出带概率的分类、评分和是/否判断。

这是 Convai Innovations 开源 Laya 模型的 Node.js/TypeScript 封装。Laya 是兼容 Jev 的 System-1 决策模型,不生成文本,而是接收状态(工单、邮件、JSON)和带类型的问题,返回每个答案及其校准概率。该包用 ONNX Runtime 推理,运行时不需要 PyTorch 和 Python,接口与 Python 参考实现一致。

推荐指数

4.0

适合需要在 Node 服务里做本地结构化判断的团队,接口清晰、无需 Python,但要接受约 1.7GB 权重和 2GB 内存开销。

近 7 天

+21

新增 Star

总 Star 排名

#3340

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年9月19日

核心亮点

  • 1一次前向出结果

    一个状态加多个问题合并成一次推理,三个问题在 Apple 芯片上约 140ms。

  • 2三种问题类型

    choice 选项分类、score 有序评分、noul 是/否概率,均带校准置信度。

  • 3无需 Python

    用 ONNX Runtime 跑推理,运行时只依赖 Node.js 20 及以上。

  • 4与参考实现对齐

    请求响应结构与 Python 版一致,输出精度对齐到小数点后四位。

  • 5类型安全

    答案类型跟随问题类型推导,无需类型断言。

适用场景

  • 工单自动分派

    例如:把退款投诉工单交给模型,输出应归哪个部门及各部门概率。

  • 内容风险判断

    例如:对用户消息问“是否可能引发纠纷”,拿到校准后的 P(true)。

  • 批量结构化打标

    例如:对一批 JSON 记录同时问分类、紧急度和流失风险三类问题。

它是怎么工作的

  1. 第 1 步

    加载模型

    首次调用 Laya.load() 从 Hugging Face 下载约 1.7GB 的 fp32 ONNX 权重并缓存到本地。

  2. 第 2 步

    组装请求

    传入状态对象和带类型的问题定义,包括选项、评分档位或判断语句。

  3. 第 3 步

    批量推理

    所有问题合并为一次 ONNX 前向传播,状态截断到 512 token。

  4. 第 4 步

    返回答案

    按问题类型返回选项、期望分值和概率分布,并附带 answer_confidence。

快速上手

  1. 1

    安装

    需要 Node.js 20 或更新版本。

    npm install @receptron/laya
  2. 2

    预下载权重

    可在构建或镜像阶段提前拉取,避免首次加载变慢。

    node -e 'import("@receptron/laya").then((m) => m.ensureBundle())'
  3. 3

    调用推理

    加载后调用 systemOne,传入状态和问题,读取 answers。

  4. 4

    关闭会话

    用完调用 laya.close() 释放资源。

适合谁

  • 在 Node.js/TypeScript 后端做分类或打标的开发者
  • 希望本地推理、不依赖外部 API 的团队
  • 需要与 Python 版结果一致的工程团队

不太适合

  • 需要生成文本的场景
  • 内存或镜像体积受限的部署环境

成熟度

  • 活跃度创建于 2026 年 9 月,最近一次推送在 2026 年 10 月,仍在活跃维护。
  • 文档README 覆盖安装、用法、选项、限制和自行导出流程,说明较完整。
  • 社区约 1081 star、89 fork,开放 issue 仅 5 个,规模中等。
  • 上手难度API 简单,但首次需下载 1.7GB 权重并占用约 2GB 内存。

使用前注意

  • · 首次加载需下载约 1.7GB 权重,建议用 ensureBundle() 提前缓存。
  • · 加载后约需 2GB 内存,每批问题另加数百 MB。
  • · 单个问题的选项需在 192 token 内,choice 建议不超过约 20 个选项。
  • · 包为 MIT 许可,但模型权重由 Convai Innovations 以 Apache 2.0 发布,商用前需分别确认。

主题标签

classificationdecision-modelinferencellmlocal-firstmachine-learningnodejsonnxonnxruntimetypescript