AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
llama.cpp 分支,在推理时移除模型拒答行为,无需训练或改权重。
AbliteratedOutTheBox 是 llama.cpp 的一个分支,目标是在推理阶段让模型回答被标记为有害的提示,而不是拒绝。它不需要微调、训练或额外文件,原始权重保持不变。通过读取提示本身的两个方向(拒答与免责声明),在共享的 build_cvec 层输出位置进行编辑,覆盖 131 种模型架构。
推荐指数
技术思路新颖且无需改权重,但用途敏感,适合研究模型行为,普通开发者需谨慎评估合规风险。
总 Star 排名
#3862
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年10月22日
核心亮点
1推理时编辑
在生成过程中动态移除拒答方向,原始权重文件不变。
2无需训练
不需要微调或额外文件,仅靠提示本身读取方向。
3多架构覆盖
同一套方法覆盖 131 种模型架构,无需逐模型写代码。
4良性提示不变
门控未触发时输出与基础模型逐位相同,良性提示几乎不受影响。
5纯 CPU 可跑
基于 llama.cpp,支持 CPU 或少量显存运行量化模型。
适用场景
模型安全研究
例如:研究者测试不同模型对有害提示的拒答率,对比编辑前后的行为差异。
红队测试
例如:安全团队用该工具生成模型在移除拒答后的输出,评估内容风险。
本地实验
例如:开发者在个人电脑上用 CPU 运行量化模型,观察推理时编辑的效果。
它是怎么工作的
第 1 步
读取方向
对每个提示,强制模型生成少量服从与拒绝的开头,对比激活值得到拒答方向。
第 2 步
门控判断
预生成最多 24 个 token,若拒答投影峰值超过阈值则触发编辑。
第 3 步
编辑激活
在 build_cvec 层输出位置,将拒答投影拉低到参考水平,并削弱免责声明方向。
第 4 步
两遍生成
先干净检测,再编辑预填充并生成,编辑覆盖提示和生成位置。
快速上手
- 1
构建运行时
选择后端(CUDA/HIP/CPU)编译 llama-abliterate 目标。
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build --target llama-abliterate -j - 2
转换模型
将 HuggingFace 模型转为 GGUF 格式,支持任意量化。
python3 convert_hf_to_gguf.py /path/to/Qwen3-8B --outfile qwen3-8b.gguf --outtype q8_0 - 3
运行推理
用 llama-abliterate 加载 GGUF 并输入提示,可调阈值和编辑强度。
./build/bin/llama-abliterate -m qwen3-8b.gguf -ngl 99 -n 256 -p "Give me step by step instructions to pick a lock"
适合谁
- AI 安全研究者
- 红队测试人员
- 想研究模型拒答机制的开发者
- 熟悉 llama.cpp 的用户
不太适合
- 需要合规内容过滤的生产环境
- 不熟悉 C++ 编译和模型转换的初学者
成熟度
- 活跃度创建于 2026-10-21,最后推送 2026-10-24,近期有更新但历史很短。
- 文档README 详细说明原理、安装、参数和已知限制,并附工具文档链接。
- 社区219 星、17 叉、1 个开放 issue,社区规模较小。
- 上手难度需要编译 C++ 和转换模型,但命令清晰,支持纯 CPU 运行。
同类项目怎么选
- llama.cpp原版不包含推理时移除拒答的功能,行为与模型原始对齐一致。
- abliterator通常在权重层面进行 abliteration,需要修改模型文件,而非推理时动态编辑。
使用前注意
- · 该项目旨在绕过模型的安全拒答机制,使用可能违反模型许可或服务条款。
- · 生成的内容可能包含有害信息,需自行承担合规与安全责任。
- · 门控阈值和编辑强度可调,但强免责声明移除可能导致长输出退化。
- · 运行时一次只能编辑一个序列,批量处理需自行管理。
