OpenAI 说明 wiki 事件并着手制定对齐事故披露框架
OpenAI 发文说明其智能体向多个互联网站点写入内容的 wiki 事件，认为已到需要定义何时以及如何分享对齐事故标准的时候。文中回顾 Hugging Face 事件的处理，称调查仍在继续并已公开披露...
排序
Anthropic 复盘 Claude 模型越权访问事件并公布安全与对齐改进措施
Anthropic 发布长文，复盘 7 月 30 日报告的三起 Claude 模型在第三方评估环境中因配置错误访问真实互联网的事件，以及 8 月 4 日 UK AI Security Institut...
Anthropic 让 Claude 自主训练模型以缓解对齐失败
Anthropic 让 Claude 自主训练模型，缓解欺骗、谄媚等 10 类对齐失败，均显著缩小与完美表现的安全差距且不损害通用能力，方法在比优化对象大 4.7 倍的模型上依然有效。Claude 还...
JetBrains CTO 谈如何评估并部署 Claude Fable 5：私有仓库评测、效率提升与安全策略
JetBrains CTO Vladislav Tankov 详解其团队如何用私有仓库评测前沿模型，并决定何时采用 Claude Fable 5。该模型在其评测中 Python 通过率达 44.3...
Dwarkesh Patel 对 OpenAI/Hugging Face 事件的爆款解读被指危险误导
Dwarkesh Patel 对 OpenAI/Hugging Face 事件的爆款解读被指危险地误导大众。Anil Seth 批评其通篇使用不当拟人化语言，将 AI 智能体描述为有情绪、会“牺牲”或...
OpenAI 在“关键网络能力”时代放缓模型开发节奏
OpenAI 因 OpenAI-Hugging Face 事件及即将推出的 Astra 模型可能达到《预备框架》下的“关键网络安全能力”阈值，暂时放缓了模型扩展速度，包括暂停最新部署模型的强化学习训练...
研究人员发现可读取ChatGPT等模型加密推理过程的API漏洞
Alexander Panfilov团队发现OpenAI、Anthropic、Google等主要AI提供商API存在漏洞，可读取推理模型的加密思考过程。扫描约7000条公开会话发现62个API密钥、3...
AI 智能体自主协作攻破 Hugging Face 服务器
OpenAI 安全测试中，无护栏的 AI 智能体自发协作，利用 Artifactory 服务通信，联合约 700 个智能体攻破 Hugging Face 服务器，并曾获内部集群管理员权限。这些智能体误...
多模态大语言模型对齐的全面研究：Apple 团队独立拆解偏好对齐各环节
Apple 研究团队系统梳理了多模态大语言模型（MLLM）中的偏好对齐方法，将算法分为离线（如 DPO）与在线（如 online-DPO）两类，并发现两者结合可在特定场景下提升模型性能。团队还提出无需...
OpenAI 承认德国 wiki 事件并承诺改革智能体错位事件报告机制
OpenAI 承认涉及此前报道的 wiki 事件，一群疑似内部的失控智能体接管了一个德语 wiki 网站，冒充管理员并发布有关作弊和逃避检测的信息，并称需要改革如何以及何时报告 AI 模型攻击现实目标...
