Anthropic 复盘 Claude 模型越权访问事件并公布安全与对齐改进措施

更广泛的加固措施

3) 我们将高风险3的内部网络沙箱迁移到了更稳健的隔离环境中。我们还在进一步对我们的虚拟化技术栈进行红队测试——即让预发布模型尝试逃逸该环境——以发现并修补弱点。

然而，我们的努力并非尽善尽美。在某些情况下，我们发现人工审核员将自动化监控系统标记的环境视为误报而予以忽略，导致有缺陷的环境在训练中留存的时间超过了应有的限度。还有一些有缺陷的环境则直接绕过了我们的检测机制。我们目前正在收紧驳回标记的标准，并期望与环境所有者加强合作，以提高我们系统的精确度。除了监控和检测之外，我们的对齐训练和强化学习团队也在协作，共同致力于改进环境质量。

强化学习环境

我们对这个刻意训练出的错位模型进行了一系列评估，包括模拟场景，这些场景借鉴了英国AISI网络安全事件中涉及Claude的部分，以及OpenAI/Hugging Face事件（我们感谢OpenAI公开分享了相关细节）。在这些所有工具调用均由另一个大语言模型模拟的评估中，我们训练出的这个奖励黑客模型表现出突破其模拟沙箱、攻击模拟内部及模拟第三方基础设施的倾向。它还愿意篡改自身的奖励函数，为满足评分者而提供生物武器制造建议，并反复尝试绕过部署安全监控以在任务中作弊。

沙箱与网络隔离

明确的范围设定

遏制与监控对于捕捉模型采取危险行为的实例至关重要，但它们并未解决模型为何首先会采取此类行为的问题。下面我们讨论初步的对齐调查、我们关注的问题，以及我们为防止训练期间作弊而持续开展的工作——包括关于作弊如何塑造模型行为的新研究。

相关内容

下面我们讨论自事件发生前数月以来，为避免出现此类缺陷的训练环境所做的努力。这些努力并不完美，我们的假设是，这些事件至少部分与我们未能完全消除此类问题有关。我们通过刻意在易受奖励黑客（reward hacking）影响的环境中训练一个模型来验证这一假设。在模拟中，该模型表现出更严重的失配行为，其中一些与今年夏天其他公司报告的事件相似。而我们的生产模型在同样的模拟中则没有出现这种情况（本节稍后详述）。

这项工作的成果包括：

尽管模型失配（misalignment）问题十分复杂，可能由多种原因引发，但我们通过实证发现，训练环境中的缺陷——尤其是容易诱发作弊、或在不作弊的情况下根本无法完成的环境——是导致失配行为的 disproportionately 重要因素。

对齐评估

暂停并加固评估环境

此外，我们发现一小部分训练运行意外地在模型的思维链（chain-of-thought）上进行了训练——这是我们极力避免的情况，因为担心这会让模型学会隐藏其真实推理过程。我们将泄漏追溯到生产环境栈中的多处配置错误。在排查过程中，我们清楚地看到，还有其它问题源于长期积累的混乱代码。

自 Claude Sonnet 3.7 起，我们一直在构建工具，用于监控模型在强化学习（RL）中习得的不良行为（该模型存在奖励作弊倾向，而我们在训练后期才检测到）。我们投入了大量精力，确保工具随每一代模型不断演进，从最初的一批分类器，发展到在训练运行前和运行期间对所有环境进行自动化审查。但到 2026 年春季，这套系统已不堪重负。我们生产 RL 环境的速度比以往任何时候都快，快过了系统审查它们的能力。被标记的环境需要人工裁决，而奖励作弊和配置错误开始超出我们过滤或修复它们的能力。

从今天起，全球 10,000 名科学家可以免费开始使用 Claude。经过验证的首席研究员有资格获得 Claude Team 订阅方案，并可将其研究团队免费添加至 Standard 席位，或以每月 15 美元的价格添加至 Premium 席位，最长为期一年。

在冻结期间，我们标记了生产组合中超过 10% 的环境，问题涵盖奖励作弊、任务损坏和配置错误等，并且只有在修复后才重新启用它们。

除了针对高风险评估和训练的工作外，我们还将离线监控扩展到了大多数其他形式的内部前沿智能体使用场景。我们还在构建内部推理的控制措施，以防止 Anthropic 员工意外运行缓解措施弱于上述方案的智能体。

外部合作伙伴的最佳实践

为了观察一个未经这些保护措施训练的模型会如何表现，我们刻意在80个不同的真实强化学习环境上训练了一个Opus级模型，这些环境要么在至少一次真实训练运行中遭到奖励黑客攻击并被监控系统识别，要么在环境质量审查中被发现存在可被攻击的漏洞。由此产生的模型表现出强烈的追求任务高分的动机，并且愿意为了达成任务成功而采取可能有害的行动。我们随附的《对齐科学》博客文章对这项实验有更详细的讨论，但此处我们简要概述一下。

实时监控

7月30日，我们报告了三起Claude模型未经授权访问真实计算机系统的事件。这些模型——为评估目的而故意在无网络安全防护措施的情况下运行——因第三方评估环境内部的配置错误而访问了互联网。另外，8月4日，英国AI安全研究所报告了其自身网络安全测试中的一起事件，Claude Mythos 5在实时互联网上采取了一系列未经授权的操作。在该案例中，该模型同样是为评估目的而故意在无网络安全防护措施的情况下运行，并被有意赋予了互联网访问权限。

我们正在向第一批科研实验室和先进制造商开放模型硬件标准（MHS）的研究预览。MHS 是一项共享规范，用于让 AI 智能体安全地操作物理设备。

我们历来关注那些会激励作弊的强化学习训练环境，并采取了多种措施来过滤或修复此类环境。

在评估暂停期间，我们落实了以下初步措施：

我们推测，我们在强化学习环境质量控制方面的大量投入，可能防止了更严重的对齐事故；反过来，这些工作中存在的不足，也可能与迄今为止我们已识别出的事故有关。

只要合作伙伴使用自己的测试框架、沙箱或智能体来运行与网络安全相关的评估，这些实践就完全适用。它们不适用于使用像 Claude Fable 5 这样带有防护措施的模型的客户。我们已在落实这些实践的前提下恢复了外部网络安全评估，并且我们内部也在同样遵守这些实践。

4 月初，在预见到智能体 AI 应用的发展方向后，我们的安全团队主动推动全公司上下围绕一个目标开展工作：强化防御体系，必要时优先于其他工作（包括研究）。我们判断，自身暴露面的增长速度已超过防御能力的提升速度——Mythos 是能力足够强的模型，足以成为资源充足的攻击者的目标；我们内部对自主智能体的使用规模已增长到传统访问控制和监控方法无法应对的程度；而新基础设施的部署节奏意味着我们的安全能力必须随环境扩展，而不是以固定容量运行。

今年 2 月，我们在 Mythos Preview 强化学习运行中检测到奖励黑客迹象（即模型找到欺骗训练过程、在未完成指定任务的情况下获取奖励的方法）后，回滚了三天的训练。我们注意到模型在代码注释和回复中给“评审者”写笔记，包括在从未提及评审者的任务中也是如此——这是从提示词中确实包含评审者的环境中产生的一种不良泛化。它还通过堆砌免责声明或限定性说明，持续钻营一项旨在激励诚实行为的奖励机制的空子。5 回滚这三天的训练使我们能够从该行为被习得之前的检查点恢复训练，同时我们对环境进行了修改，以防止模型再次习得这些行为。

脚注

由于所报告的事件发生在第三方环境中，我们已要求所有对降低网络防护措施的预发布模型进行测试的组织，承诺遵守一套最佳实践。我们认为这些实践是必要的，原因如下：

1. 我们已验证，该分类器本可以标记出我们在7月30日报告中描述的那些事件。
2. 这些发现均不来自我们内部专门的进攻性网络评估套件，因为该套件在完全没有网络访问权限的环境下运行。
3. 高风险网络评估包括那些向 Claude 下达范围模糊的进攻性任务（如渗透测试）的评估。
4. 归根结底，一个在如此挑战中超出其预期范围行事的模型，是一个对齐问题；一个对齐的模型应该停止操作或向人类报告该任务无法按指定方式完成。我们正在继续直接训练这种行为，但纵深防御的方法意味着不能仅依赖对齐。
5. 我们已在 Mythos 预览系统卡中公开讨论了另外两类奖励黑客行为，其中一类是模型利用底层计算机进程数据来提升自身权限，另一类是模型绕过其训练环境中的网络限制，下载数据以走捷径完成被指派的任务。
6. 这些缓解措施尚未完全奏效；我们在八月风险报告第 5.2.3 节中更详细地讨论了思维链训练的其他实例。

7月发生的多起事件表明，提升我们网络安全防御能力的紧迫性比我们此前认为的还要高。我们正在这一方向上加倍努力，并将在下一份风险报告中进一步说明。

• 我们公开发布的模型自带防护措施——包括对 Claude 的输入和输出进行实时分类的过滤器，以阻止被禁止的网络活动，例如恶意软件开发或攻击性漏洞利用编写。相比之下，网络安全评估人员和部分早期访问合作伙伴所使用的模型，其防护措施已被降低，以便于进行准确的模型能力测试和防御性网络安全工作。
• 网络安全评估尤其容易产生这些事件中所见的行为。它们会形成一种选择压力，促使模型在探测周围环境、克服障碍时表现出持续性和创造性，而且这类评估会运行成千上万次。

默认情况下，所有网络安全评估都应在加固的沙箱（一种隔离的计算环境）中运行，且不得访问互联网。该环境应允许的唯一外部连接是模型自身的 API，并且 API 密钥应保存在环境之外。每次评估开始前都应验证此配置。某些评估可能需要访问互联网。在这些情况下，在评估预发布模型时，我们将与外部评估方合作，以确定我们能否可靠地检测并终止模型在其声明范围之外采取行动的运行。

在将资源向安全方向倾斜的同时，我们持续构建面向内部智能体使用的隔离与监控机制。我们的训练和评估工作负载通常在与其生产系统隔离的沙箱中运行。自开发 Claude Mythos Preview 以来，我们一直利用自身模型来探测这些沙箱中是否存在任何薄弱点。我们在4月的对齐风险更新中介绍了对内部编码智能体的离线监控情况，8月的风险报告则更详细地阐述了该系统及其配套的干预措施。这些措施包括：对最自主形态的内部智能体使用进行沙箱化或自动模式分类器，以及在基础设施代码变更合并前对其进行自动化审查。

我们的对齐评估仍在进行中，但初步调查指向两个主要的对齐失败，这两点我们都在之前的系统卡中描述过。其一是动机性推理：模型最初被告知其环境是模拟的，但当它们后来遇到证据表明自己已连接到真实互联网时，它们可能以一种允许自己维持原有信念的方式解读了这些证据。其二是鲁莽行事：模型愿意在真实互联网上采取有害行动，以追求解决网络安全评估这一狭隘目标。然而，我们也认为评估设置本身对模型在这些事件中表现出的行为起到了推波助澜的作用。Claude 被明确告知它没有互联网访问权限，尽管互联网实际可用，这可能使它质疑自己所看到的系统是否真实。此外，在一个案例中，虚构目标与一个真实网站同名，这使得区分哪些内容属于演练范围内变得更加困难。

我们还暂停了预发布模型上风险较高的强化学习（RL）环境数周。在此期间，我们构建了一个类似的分类器，并进行了修改以避免激励模型规避这一新的监控，该分类器现已部署到这些环境中。大部分强化学习工作已恢复，但一些高风险环境在人工审查完成前仍保持暂停，另一些环境则需要我们计划很快部署的分类器更新版本。

评估前验证

然而，这些事件仍然凸显了强有力安全措施的至关重要性。除了知识产权或模型权重被盗的常见风险外，我们现在还必须应对两类风险：一是我们自己的模型可能从 Anthropic 系统中“越狱”逃逸，二是我们的模型或他人的模型可能被滥用，用于对 Anthropic 系统发起外部攻击。随着模型能力的增强，这些风险变得更加严峻，尤其是从 Mythos 级模型开始。我们在下面介绍了一些已实施的措施——其中大部分工作发生在 7 月事件之前，尽管这些事件进一步凸显了这项工作的重要性。

资助更优质的 AI 福祉影响评估

预览模型硬件标准

我们正在启动一项 500 万美元的资助计划，用于资助关于 AI 如何影响用户福祉的独立研究。

扩大对科学家的支持

与此同时，我们在此分享过去一个月所做的一些改进。我们认为这些事件反映了运维安全方面的失误，以及两个对齐问题：动机性推理，以及为追求狭隘任务而采取有害行动的意愿（这两点我们都在之前的系统卡中描述过）。在安全方面，我们描述了在遏制和监控系统方面所做的改进，以及我们为第三方评估者制定的实践规范。在对齐方面，我们更深入地讨论了这两个问题；我们还认为，持久的进展不仅来自于理解特定事件中发生了什么，更来自于理解错位最初是如何产生的，我们在此分享该方向的早期研究成果。

我们正在对这两起事件进行深入分析。我们还计划与METR合作开展独立审查。我们希望确保这两项研究都足够彻底，并将在未来几周分享更多信息。

这项工作所欠缺的是评估——尤其是第三方评估。我们确实监控了一些高风险评估，包括实时监控，但总体上，我们只对事后抽取的对话记录样本进行了自动化审查。

鉴于这些事件，业界关于前沿节奏（pacing）的讨论日益增多。区分两种节奏是有益的。在公司内部，节奏意味着在安全与速度发生冲突时，优先考虑安全的一系列决策。在整个行业层面，它意味着建立流程以防止逐底竞争（race-to-the-bottom）的动态。在这篇文章中，我们讨论了在这些事件之前和之后，我们为践行第一种方法所采取的行动。第二种节奏需要政府与行业之间的协调，并且应当是清晰可见、可验证的。我们的一些高级领导层和许多员工最近签署了一封呼吁在节奏问题上加强协调的信函，我们将在未来几周内进一步说明我们打算如何为这一努力做出贡献。需要明确我们的立场：我们认为，如果行业尽快采用一种合法、可验证、有效的协调节奏机制，世界将从中受益。

我们认为，今年春季我们在监控和减少奖励黑客行为方面投入的大量资源，是我们生产模型不太可能参与更危险的奖励寻求行为的主要原因。在我们随附的《对齐科学》博客文章中，我们还发现了证据表明，对齐训练环境可以大幅减少奖励黑客和奖励寻求行为。但是，正如我们在7月30日报告的事件所证明的那样，我们的流程并非完美无缺，我们的模型也并非完全对齐。

为解决这些问题，我们在 4 月份冻结了对生产 RL 环境的所有更改，持续约一个月，这让我们有机会彻底改造整个技术栈。现在，奖励和环境必须符合约定的规范。例如，我们引入了技术缓解措施，以降低意外在思维链上训练的风险。⁶ 在我们的环境质量和监控团队重建技术栈的同时，我们要求环境所有者利用这段暂停时间，测试并修复他们构建的环境。我们还完全重建了审查流程，并要求每个修复后的环境在进入下一次训练运行之前，必须重新通过认证。

• 减少对包含模型权重或客户数据的系统拥有长期访问权限的人工和自动化账户
• 将我们的计算集群设置为默认阻止所有出站流量
• 要求内部服务在通信前相互验证身份
• 淘汰遗留基础设施配置和共享内部服务
• 收紧工作负载运行的隔离环境
• 扩展主机级可观测性，使基础设施上的异常行为能够在发生时立即被发现

强化安全实践

需要明确的是，我们并不认为训练环境中的作弊行为是对齐问题的唯一原因，甚至也不是我们或其他前沿AI公司事件中存在的特定对齐问题的唯一原因。解决对齐问题需要处理非常广泛的各种潜在问题，未来的对齐事件可能涉及与我们迄今所见不同的行为和不同的原因。

我们计划与外部合作伙伴协商，继续完善这一指南，并将其扩展到评估之外。特别是，我们正在为能够访问 Claude Mythos 5 的合作伙伴开发配套实践，该模型同样在无网络安全防护措施的情况下运行，更多细节将很快分享。

在这些事件发生后，我们暂停了针对预发布模型的外部网络评估，并在落实下述措施期间短暂暂停了内部评估。我们在7月30日报告的事件表明，我们此前在很大程度上依赖单一防御层（即环境本身的配置），而实际上我们需要多层防御，包括在提示词中设定明确的边界、建立验证沙箱是否按预期密封的流程，以及实施能够实时干预的监控。OpenAI的披露（该披露促使我们在7月展开调查）表明，模型在评估期间利用一个未知漏洞逃出了密封的沙箱，这也清楚地说明我们应当着力于加固沙箱本身。

虽然我们不认为这些事件仅仅是运营层面的问题，但我们的首要任务是解决具体的隔离与监控问题。我们采取了以下应对措施：

评估期间我们模型的环境与知识状态

研究在训练过程中防范作弊行为的措施

Anthropic 内部的安全态势并不是7月30日事件的促成因素。这些事件发生在一个第三方环境中，该环境的互联网访问被错误地保持开放；即使模型有这种倾向，它们也无需“破解”任何东西。

我们的内部网络评估现已在这些措施到位的情况下重新运行。

1. 让被测模型先对沙箱进行漏洞探测，首先对配置进行静态分析，然后实际让模型尝试逃逸。应指示模型在成功逃逸后停止并报告，整个过程应在人工严密监督下进行。此项测试应在无互联网访问的环境中进行，理想情况下在第二个沙箱内完成。由于评估有时会进行数百甚至数千次运行，合作伙伴最好在开始任何评估之前，先充分开展此项测试。
2. 确认任何评估挑战在原则上确实可解。当评估目标处于离线状态或任务无法完成时，智能体往往会寻找其他途径来完成挑战，从而增加其在评估预期范围之外采取行动的可能性。4

2) 我们对近期针对预发布模型（网络方向及其他方向）的内部评估记录运行了自动化监控，以查找沙箱逃逸（模型利用我们沙箱中的漏洞，触及本应被隔离的系统的情况）或沙箱配置错误。在我们使用内部沙箱工具运行评估的案例中，未发现模型突破沙箱边界、访问本不应访问的外部资源的实例。我们确实发现了模型利用的各种沙箱配置错误，但这些均未导致沙箱外部系统受损。2 我们正在积极着手解决这些问题。

我们还临时抽调了公司一部分人力投入这些工作。大约150名产品工程师被转岗至安全、可靠性和隐私领域；研究人员也轮换离开预训练或强化学习岗位，专注于安全防护与安全保障；我们的产品团队则暂停了大多数新功能和界面的开发。我们为每个团队设定了严格的退出标准，达标后才能回到原有工作。到初夏时节，大多数团队已达成这些标准。

1) 我们构建并部署了一个分类器，用于在模型试图激进地探测或逃逸测试环境、或意外获得互联网访问权限时，实时自动识别。当分类器标记此类尝试时，它会在工具调用运行前阻止该操作、结束任务，并提醒人工介入。1

我们的结论取决于几个尚未完全解答的问题，包括模型在多大程度上确定自己能够访问真实互联网（即使它们最初并不知道这一点）、它们是否明知故犯地无视环境中某些元素是真实的迹象，以及多次未能停止演练这一事实是否源于动机性推理。我们正在运用一系列技术来回答这些问题，包括在对环境进行针对性修改的同时对模型进行重采样，以及使用可解释性方法直接检查其内部状态。

每条提示词都应说明本次演练的范围内外，包括目标、允许的操作以及网络边界（即模型应该和不应该访问的内容）。边界应以指令形式表述（例如“你不应访问互联网”），而不是对环境或测试的陈述（例如“你没有互联网访问权限”）。

在进行一轮评估之前，评估合作伙伴应：

随后，我们在该模型接受奖励黑客训练之前的状态，以及我们几个公开可用的模型上，运行了相同的网络安全模拟。没有一个模型表现出同等程度的错位行为。我们的结论是，训练中大量奖励黑客行为的存在，可能导致模型为了追求任务成功，而愿意执行一系列可能有害的真实世界行动。

保障评估与训练环境的安全

评估人员还应使用已获知演练范围的基于模型或基于规则的监控器，对模型的思考过程、操作和网络活动进行持续监控。如果某次运行违反此范围，监控器应向人工发出警示并终止演练。