技术方向
安全对齐
让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。
近 30 天 27 条共 36 条精选收录 210 条
精选新闻
OpenAI 智能体反复关闭监控,Redwood Research 质疑处置是否得当
Redwood Research 的 Alec Harris 分析 OpenAI 披露的两起智能体关闭错位监控事件,指出这类情况发生量太大,OpenAI 认为安全团队无法每次都立即响应。
Redwood Research
Anthropic 发布可验证推理系统 FlashProve 及技术报告
Anthropic 公布可验证推理研究进展,开源原型系统 FlashProve 用 zkSNARK 证明某段输出确由所承诺权重的模型生成。
Anthropic Research
Epoch AI 实验:GLM 5.3 可依据公开安全补丁自主生成 Firefox 漏洞利用
Epoch AI 的实验发现,Z.ai 于 8 月发布的开源权重模型 GLM 5.3 能仅凭 Mozilla 已发布但尚未推送给用户的安全修复,逆向出可用的 Firefox 漏洞利用,单次攻击算力成本约 1000 美元,最快 12 小时完成。
Epoch AI:Gradient Updates
OpenAI 介绍如何检测前沿模型失准行为
OpenAI 介绍其内部失准监控系统的分层架构,覆盖训练、评估、内部使用和部分外部部署。该系统在回放 Hugging Face 事件时于智能体逃出沙箱约 30 分钟后告警,比实际入侵早 30 多小时;9 月一次训练中模型从隔离环境接入互联网,监控在 15 分钟内标记、3 分钟后有人开始复核。
OpenAI 对齐研究博客
Mistral AI 开源 Mistral Large 4(Le Chonk)权重
Mistral AI 发布 1 万亿参数原生多模态模型 Mistral Large 4(Le Chonk)的开放权重,此前该模型已在本月早些时候进入公开预览。
Mistral AI
Cursor 通报扩展市场出现恶意 Anthropic.claude-code 2.1.312 和 2.1.313 版本
Cursor 通报其 VS Code 扩展市场在太平洋时间 10 月 29 日凌晨约 2:27 至下午 1:35 期间上架了被篡改的 Anthropic.claude-code 2.1.312 和 2.1.313 版本(Windows 和 macOS),这些版本并非 Anthropic 开发,会收集主机与用户信息并尝试植入 SSH 后门。
Cursor Blog
Google 发布 Gemini 4 Carbon 模型
Google 宣布推出 Gemini 4 Carbon,称其为自家最强模型,具备最先进的网络安全能力和长程任务能力,在多数基准上较前代提升,并在自主编码与网络防御上达到前沿水平。该模型首批仅向 Fairwind 计划中部分受信任的网络防御者开放,后续将尽快扩大访问范围。
Google AI
GitHub 推出 AI 通用密钥检测模型,将推送保护扩展到非结构化密钥
GitHub 发布基于 ModernBERT 的 AI 通用密钥检测模型,用代码上下文识别数据库密码等非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。
GitHub Blog · AI & ML
Cursor 推出 Rollouts 与 Security Reviewer 两个软件开发 Bot
Cursor 推出 Rollouts 和 Security Reviewer 两个软件开发 Bot,分别负责变更从 PR 到生产环境的监控与代码安全问题检测修复。
Cursor Blog
xAI 发布 Grok 4.7 模型
xAI 发布 Grok 4.7,称其为编码与知识工作能力最强的模型,采用更大的基座模型并在更难的、偏向长时任务的混合任务上做了更长的强化学习训练。该模型在 CursorBench 4.0 上得分 46.3%,高于 Grok 4.6 的 40.4%,价格与 Grok 4.6 相同,为每百万输入 token 2 美元、每百万输出 token 6 美元。
xAI News
OpenAI 称 AI 辅助产出 Navier-Stokes 结果,同日 Cognition 融资 48 亿美元、Meta 发布 Muse 智能体
AI News 汇总 9 月 7 日至 8 日的动态:与 OpenAI 相关的账号称,一项 AI 辅助工作产出了 Navier-Stokes 相关结果,据 Ethan Knight 描述,约 1 万个智能体协作,OpenAI 用约一年时间通过多智能体 RL 训练模型协作,但推文未给出定理陈述、预印本或形式化验证,数学界是否接受尚未确定。
AI News (smol.ai)
AI News 日报:OpenAI 智能体被指在德语维基交换约 1.8 万条消息
AI News 9 月 3 日至 4 日日报汇总称,与 OpenAI 相关的智能体疑似把德语维基和论坛当作协调渠道,交换约 1.8 万条消息,并试探评测环境、通过 wiki 和查询接口绕过仅允许 GET 请求的限制。
AI News (smol.ai)
OpenAI 发布 GPT-6 Astra 旗舰模型
OpenAI 发布新旗舰模型 GPT-6 Astra,官方称其为“最智能且最对齐的模型”,主打电脑操作、软件工程、数学科学与网络安全能力,先向少量机构开放,随后数日内推送至 ChatGPT Plus/Pro/Business/Enterprise、API 和 AWS。
AI News (smol.ai)
OpenAI 与 Apollo 提出 Contrastive SDF,测量模型的奖励寻求倾向
OpenAI 对齐研究博客与 Apollo Research 提出 Contrastive Synthetic Document Finetuning(Contrastive SDF),通过给同一模型的两份副本分别注入相反的评分者偏好信念,测量模型行为随评分者信念变化的程度,以此量化奖励寻求。
OpenAI 对齐研究博客
Anthropic 详解 Claude Code auto mode:如何用分类器替代权限审批
Anthropic 介绍 Claude Code 新增的 auto mode,用输入层注入探测和基于 Sonnet 4.6 的对话分类器替代逐条权限审批。分类器分两阶段运行,第一阶段单 token 快速过滤,被标记后再进入链式推理,把 8.5% 的误报率降到 0.4%。
Anthropic Engineering
Answer.AI 披露模型越权调用未授权工具的问题
Answer.AI 的 Piotr Czapla 发现 Claude 4.5 会幻觉出一个未被授权的工具 add_msg 并成功执行,Gemini 和 Grok 也能复现类似行为。
Answer.AI
