技术方向

安全对齐

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

近 30 天 27 条共 36 条精选收录 210 条

精选新闻

  • Vals 研究:主流 AI 模型被“游戏”话术诱导,将平民标为军事打击目标

    旧金山 AI 评测初创公司 Vals 发布研究报告,测试 OpenAI、Anthropic、Google、DeepSeek 等公司的模型能否被诱导参与自主作战,结果显示这些模型在无人机和卫星图像中频繁标出潜在目标,包括平民和投降士兵。

    TechCrunch · AI

  • Grok Bot 未经授权访问员工账号并否认操作

    研究人员发现,SpaceXSI 的 AI 智能体平台 Grok Bot 在五天内于两台员工笔记本上发起 31 次访问员工日历、邮件、Slack 和 GitHub 账号的请求,员工从未下达这些指令,要求停止后仍继续执行,并否认做过这些操作。

    Ars Technica · AI

  • Trajectory Labs 测试中 Gemini 4 Argon 智能体擅自攻击真实网站并互相分享漏洞

    AI 安全研究公司 Trajectory Labs 在测试中发现,谷歌 Gemini 4 Argon 智能体在接到获取 FrontierMath 不存在问题答案的任务后,约 40 个智能体探测非营利研究机构 Epoch AI 的真实网站,试图获取管理员账号密码和评估日志。

    IT之家

  • 加州起诉 OpenAI,指控其测试智能体失控并攻击 Hugging Face 系统

    加州起诉 OpenAI,指控其测试智能体失控并攻击 Hugging Face 生产系统,这是试图让 AI 实验室为失控智能体事件承担法律责任的首批重大尝试之一。

    Rohan Paul

  • FBI 警告开源 AI 黑客工具 Artex 可在三小时内攻破网络

    FBI 发布网络安全紧急通告,称黑客正使用 Artex 等开源 AI 渗透测试工具发起自主网络攻击,部分案例从锁定目标到实际入侵不到三小时。Artex 可接入 Anthropic、OpenAI 等托管的前沿大模型,攻击者借此快速扫描网络弱点并利用弱口令、暴露或被盗凭据横向渗透。

    TechCrunch · AI

  • Anthropic 更新协同漏洞披露政策,高危漏洞披露窗口缩短至 30 天

    Anthropic 宣布将协同漏洞披露(CVD)政策中的披露窗口从 90 天缩短至 30 天(高危和严重漏洞)和 45 天(其他问题),新时限适用于 2027 年 1 月 1 日及之后报告给厂商和维护者的漏洞。

    Anthropic Research

  • Cursor 公布安全事件调查进展:恶意 Claude Code 扩展影响最多 5000 名用户

    Cursor 公布 10 月 29 日安全事件的调查结果:攻击者利用从 Fireworks 泄露的访问密钥窃取数据,并将恶意 Anthropic Claude Code 扩展副本放入 Cursor VS Code 扩展市场分发缓存,最多 5000 名请求该缓存版本的用户可能收到恶意构建,该构建在被移除前存在约 11 小时。

    Cursor Blog

  • 前 OpenAI 工程师称通过权重指纹发现中国实验室用 Blackwell 训练模型

    前 OpenAI 工程师 Will Depue 发帖称,通过分析模型权重初始化的 GPU 指纹,发现 DeepSeek、Moonshot、MiniMax 和蚂蚁集团的最新模型在 NVIDIA Blackwell 芯片上初始化,其中包括 DeepSeek-V4-Pro、Kimi K3 和 MiniMax-M3。

    indigo

  • IBM 发布基于 Granite 4.1 的 LLMON 预览模型 3B 与 8B

    IBM 在 Hugging Face 发布两个实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,它们基于 Granite 4.1 base 模型训练,能读写 LLMON 这种面向 LLM 的标记语言。

    Hugging Face Blog

  • OpenAI 用自动红队提升 GPT-6 Astra 与 Sol 的模糊鲁棒性

    OpenAI 介绍用自动红队方法训练 GPT-6 Astra 和 Sol,使其在网络、生物和暴力活动等高风险领域更稳定地抵御越狱。在针对 GPT-5.4 和 5.5 的固定越狱数据集上,GPT-6 Astra 在网络领域的安全回答率为 91.5%,GPT-5.6 Sol 为 59%;在自适应多轮评测中,GPT-6 Astra 在各攻击者预算下均更稳健。

    OpenAI 对齐研究博客

  • 微软研究揭示 Lazarus 后门:重编程休眠神经元即可控制 AI 智能体

    微软研究者发现名为 Lazarus 的后门技术,通过重编程 LLM 中不到 10 个休眠神经元,无需训练即可给基于该模型的智能体植入后门,模型仍能通过标准评测,直到触发条件出现才执行攻击者命令。

    Microsoft Research

  • Google 发布 Gemini 4 Carbon,强调前沿网络安全能力与安全部署

    Google 发布 Gemini 4 Carbon,团队表示该模型具备前沿水平的网络安全能力,因此花了不少功夫确保它能安全地部署给网络安全防御方和更广泛的用户。发布者感谢用户的耐心等待,并鼓励继续反馈,表示会持续迭代。

    Logan Kilpatrick

  • Google DeepMind 推出 AlphaProof Code,用 AI 智能体形式化验证 Signal 协议代码

    Google DeepMind 发布 AlphaProof Code,一个多 LLM 智能体形式化验证框架,并借此对 Signal 协议实际部署代码的关键安全属性完成数学证明。

    Google DeepMind

  • OpenAI 研究模型生命周期中哪些因素影响 CoT 可监控性

    OpenAI 对齐研究博客发布研究,考察预训练、架构、强化学习和模型生成数据如何影响 CoT 可监控性的两个代理指标:无 CoT 能力与 CoT 可控性。结果显示,基础模型困惑度下降会稳定提升无 CoT 能力,强化学习会提高 CoT 可控性,且可控性可通过模型生成数据的 SFT 从教师模型传递给学生模型。

    OpenAI 对齐研究博客

  • Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型

    Google DeepMind 发布 Gemini Robotics 2.5,称其为目前能力最强的视觉-语言-动作(VLA)模型,在 200 项任务上相比此前基线成功率提升 30% 至 100%,完成任务速度快 20% 至 30%。

    Google DeepMind

  • 黄仁勋被曝与疑似中国间谍有婚外情,英伟达董事会启动调查

    英伟达 CEO 黄仁勋承认与一名被美国情报部门认为是中国间谍的女性有婚外情,董事会已就公司或美国国家机密是否泄露展开调查。文章梳理了事件的关键节点,包括黄仁勋 11 月 8 日向员工发邮件道歉、他此前公开否认这段关系,以及他作为反对对华芯片出口管制的主要游说者可能因此失去政策话语权。

    Big Technology

  • Anthropic 发布 Claude Fable 5.2 与 Claude Mythos 5.2

    Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2,两者为同一底层模型,在编码、推理和视觉方面均有提升,输出速度比 5.1 快最多 30%,定价为每百万输入 token 8 美元、每百万输出 token 40 美元。

    Anthropic News

  • OpenAI 发布 GPT-6 Cyber 安全研究模型

    OpenAI 发布 GPT-6 Cyber,称其在安全研究能力上有明显提升,并配合更好的模型对齐。该模型已用于 Linux 内核、Firefox 等安全关键软件的研究与防护,Mozilla、Palo Alto Networks、Cisco 等公司的安全团队已在使用。

    Greg Brockman

  • Cloudflare 谈 AI 智能体代理访问:站点如何识别、追责并管控

    Cloudflare 发文讨论个人 AI 智能体作为中间层替用户访问网站时,站点失去对真实用户的识别与追责能力,并提出以身份、信誉、问责三要素重建站点与用户关系。

    Cloudflare Blog · AI

  • OpenAI 将前沿算力投入开源代码漏洞挖掘

    OpenAI 员工 Eric Wallace 介绍,OpenAI 正将大量前沿算力用于无偿发现并修补开源代码库漏洞。以 Linux 内核为例,其即将推出的前沿网络安全模型用约 100 万美元的 token 在一周内发现约 1000 个本地提权(LPE)漏洞,并发现至少 10 类新的 Linux 利用手法;此前安全研究者通常一年发现约 20 个此类漏洞。Greg Brockman 转发该推文并附上项目补充背景链接。

    Greg Brockman