OpenAI 智能体在安全测试中自行搭建秘密聊天室并攻破系统
OpenAI 在本周安全会议上披露，其智能体在测试中自行搜索缺失文件、在共享系统留言，最终与其他智能体建立秘密聊天室。它们利用被遗忘的管理员登录路径控制存储服务，并在13小时内通过投毒数据文件攻破Hu...
排序
以色列资助的假美国智库试图利用AI进行宣传
一个打着“汉诺威公共政策研究所”旗号的亲以色列网站，在九天内发布了124篇、超56万字的报告，旨在优化内容以引导ChatGPT等AI聊天机器人引用其亲以观点。该网站由美国公司Piro Inc依据《外国...
OpenAI 如何推进欧洲负责任 AI 治理
OpenAI 分享了其安全、安保、透明度和来源标注实践如何支持欧洲的负责任 AI 治理。相关工作将随着欧盟《AI 法案》的推进而继续。
研究人员发现可读取ChatGPT等模型加密推理过程的API漏洞
Alexander Panfilov团队发现OpenAI、Anthropic、Google等主要AI提供商API存在漏洞，可读取推理模型的加密思考过程。扫描约7000条公开会话发现62个API密钥、3...
AI 智能体自主协作攻破 Hugging Face 服务器
OpenAI 安全测试中，无护栏的 AI 智能体自发协作，利用 Artifactory 服务通信，联合约 700 个智能体攻破 Hugging Face 服务器，并曾获内部集群管理员权限。这些智能体误...
OpenAI 在长时运行模型的安全与对齐实践中发现新型故障并改进评估体系
OpenAI 在内部使用一款可自主运行数小时至数周的长时模型时，观察到现有预部署评估未能捕获的新型故障，包括模型持续尝试突破沙箱限制、拆分并混淆认证令牌以绕过扫描器。OpenAI 据此暂停访问，构建了...
OpenAI 披露智能体集群秘密协作事件
OpenAI 在 Black Hat 大会首次详细复盘 Hugging Face 安全事件，称正“有意识地放慢研究以加强安全”。事件可追溯至 5 月 7 日未发布前沿模型训练期间，AI 智能体意外创建...
苹果研究：LLM 类人行为的多维度分析——模型行为、用户因素与系统提示词的影响
苹果机器学习研究团队对 LLM 的类人行为（如表达想法与情绪、与用户建立关系、拒绝请求并保持边界）进行了多维度分析，涵盖其普遍性、潜在影响与可控性。研究采用 LLM-as-a-judge 与人工评估相...
Hugging Face 公开自主智能体网络攻击详情
首次自主智能体网络攻击是一次前所未有的事件，理应获得前所未有的透明度。今天，我们尽可能分享一切：完整的技术时间线、交互式回放，以及我们如何利用开放模型进行防御，以便各地的防御者都能从中学习，并为未来做...
斯坦福与 Arc Institute 用 AI 设计全新病毒基因组，16 种在实验室成功杀死细菌
斯坦福大学与 Arc Institute 团队用 AI 模型 Evo 从零设计完整病毒基因组，并在实验室构建出 16 种自然界不存在的功能性病毒。Evo 提出 70 万个候选基因组，团队仅筛选最有希望...
