heterodoxin GitHub avatar

AbliteratedOutTheBox

C++
heterodoxin最近推送 2026年11月19日
未分类MIT219171 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

llama.cpp 分支,在推理时移除模型拒答行为,无需训练或改权重。

AbliteratedOutTheBox 是 llama.cpp 的一个分支,目标是在推理阶段让模型回答被标记为有害的提示,而不是拒绝。它不需要微调、训练或额外文件,原始权重保持不变。通过读取提示本身的两个方向(拒答与免责声明),在共享的 build_cvec 层输出位置进行编辑,覆盖 131 种模型架构。

推荐指数

3.0

技术思路新颖且无需改权重,但用途敏感,适合研究模型行为,普通开发者需谨慎评估合规风险。

总 Star 排名

#3862

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月22日

核心亮点

  • 1推理时编辑

    在生成过程中动态移除拒答方向,原始权重文件不变。

  • 2无需训练

    不需要微调或额外文件,仅靠提示本身读取方向。

  • 3多架构覆盖

    同一套方法覆盖 131 种模型架构,无需逐模型写代码。

  • 4良性提示不变

    门控未触发时输出与基础模型逐位相同,良性提示几乎不受影响。

  • 5纯 CPU 可跑

    基于 llama.cpp,支持 CPU 或少量显存运行量化模型。

适用场景

  • 模型安全研究

    例如:研究者测试不同模型对有害提示的拒答率,对比编辑前后的行为差异。

  • 红队测试

    例如:安全团队用该工具生成模型在移除拒答后的输出,评估内容风险。

  • 本地实验

    例如:开发者在个人电脑上用 CPU 运行量化模型,观察推理时编辑的效果。

它是怎么工作的

  1. 第 1 步

    读取方向

    对每个提示,强制模型生成少量服从与拒绝的开头,对比激活值得到拒答方向。

  2. 第 2 步

    门控判断

    预生成最多 24 个 token,若拒答投影峰值超过阈值则触发编辑。

  3. 第 3 步

    编辑激活

    在 build_cvec 层输出位置,将拒答投影拉低到参考水平,并削弱免责声明方向。

  4. 第 4 步

    两遍生成

    先干净检测,再编辑预填充并生成,编辑覆盖提示和生成位置。

快速上手

  1. 1

    构建运行时

    选择后端(CUDA/HIP/CPU)编译 llama-abliterate 目标。

    cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build --target llama-abliterate -j
  2. 2

    转换模型

    将 HuggingFace 模型转为 GGUF 格式,支持任意量化。

    python3 convert_hf_to_gguf.py /path/to/Qwen3-8B --outfile qwen3-8b.gguf --outtype q8_0
  3. 3

    运行推理

    用 llama-abliterate 加载 GGUF 并输入提示,可调阈值和编辑强度。

    ./build/bin/llama-abliterate -m qwen3-8b.gguf -ngl 99 -n 256 -p "Give me step by step instructions to pick a lock"

适合谁

  • AI 安全研究者
  • 红队测试人员
  • 想研究模型拒答机制的开发者
  • 熟悉 llama.cpp 的用户

不太适合

  • 需要合规内容过滤的生产环境
  • 不熟悉 C++ 编译和模型转换的初学者

成熟度

  • 活跃度创建于 2026-10-21,最后推送 2026-10-24,近期有更新但历史很短。
  • 文档README 详细说明原理、安装、参数和已知限制,并附工具文档链接。
  • 社区219 星、17 叉、1 个开放 issue,社区规模较小。
  • 上手难度需要编译 C++ 和转换模型,但命令清晰,支持纯 CPU 运行。

同类项目怎么选

  • llama.cpp原版不包含推理时移除拒答的功能,行为与模型原始对齐一致。
  • abliterator通常在权重层面进行 abliteration,需要修改模型文件,而非推理时动态编辑。

使用前注意

  • · 该项目旨在绕过模型的安全拒答机制,使用可能违反模型许可或服务条款。
  • · 生成的内容可能包含有害信息,需自行承担合规与安全责任。
  • · 门控阈值和编辑强度可调,但强免责声明移除可能导致长输出退化。
  • · 运行时一次只能编辑一个序列,批量处理需自行管理。

主题标签

abliterationaiinferencellama-cppllmllms