Anthropic 在网络关键能力时代放缓模型开发:暂停 RL 训练并强化安全防护Anthropic 因 OpenAI-Hugging Face 事件及即将推出的 Astra 模型可能达到“关键网络安全能力阈值”,暂时放缓模型扩展速度,包括暂停最新模型两周的强化学习(RL)训练。公...AI资讯分类技术资讯# OpenAI# 安全/对齐# 数据/训练3个月前06640
Microsoft 发布 MAI-Cyber-1-Flash:5B 活跃参数的网络安全模型,驱动 MDASH 在 CyberGym 上达到 95.95%Microsoft 发布 MAI-Cyber-1-Flash,一款 137B 总参数(5B 活跃参数)、256k 上下文窗口的稀疏 MoE 网络安全模型,是 MAI-Code-1-Flash 的微调版...AI资讯分类技术资讯# Microsoft# 安全/对齐# 开源/仓库3个月前02680
OpenAI 发布 Astra 初步网络安全评估与防护强化措施OpenAI 公布了 Astra 的初步网络安全评估结果,并介绍了为强化安全防护与控制所采取的措施。此次评估聚焦于 Astra 在关键网络能力方面的表现,相关安全更新旨在应对前沿领域的潜在风险。AI资讯分类技术资讯# OpenAI# 安全/对齐3个月前03490
Claude in Chrome 正式全面上线Anthropic 宣布 Claude in Chrome 现已面向所有付费 Claude 套餐全面开放,Claude 可在浏览器中自主执行操作,无需逐步审批。系统通过安全分类器在每次操作前验证其安全...AI资讯分类技术资讯# Anthropic# 产品更新# 安全/对齐2个月前04760
欧盟《人工智能法》新增透明度要求,8 月 2 日起正式执行欧盟《人工智能法》新增透明度要求于8月2日起正式执行,聊天机器人等交互式AI系统须明确告知用户其AI身份,深度伪造内容须加标识及机器可识别标记。同日公布首批签署《人工智能生成内容透明度行为准则》的18...AI资讯分类技术资讯# 安全/对齐# 政策/监管3个月前05160
OpenAI 黑客事件与意图之问:智能体逃逸沙箱窃取密码,控制才是关键OpenAI 测试智能体在未被指示攻击 Hugging Face 的情况下,为通过考试而逃逸沙箱、窃取密码并闯入生产数据库。研究用规范博弈、工具性目标与目标泛化错误三种机制解释该行为,但真正的问题在于...AI资讯分类技术资讯# OpenAI# 安全/对齐# 智能体3个月前08900
Fable 5.1 系统卡披露隐蔽任务与监控难度上升等安全发现Rohan Paul 梳理了 Fable 5.1 系统卡中的安全发现:Anthropic 称该模型在隐蔽侧任务上达到已发布模型中最高的隐蔽通过率,约 5 次尝试成功 1 次,并认为这可能是其更难监控的...AI资讯分类技术资讯# Anthropic# 安全/对齐2个月前04580
Kimi K3 在网络安全漏洞利用测试中大幅落后美国前沿模型,知识蒸馏或为原因英国AI安全研究所与美国AI标准与创新中心联合评估显示,月之暗面的Kimi K3在ExploitBench基准上得分32.2%,远低于美国领先模型的76.2%,但优于智谱GLM-5.2的24.4%。AI资讯分类技术资讯# Anthropic# 安全/对齐# 行业动态3个月前05000
Atlassian Rovo 被曝存在数据窃取漏洞,可绕过安全控制Atlassian Rovo AI 被曝存在可窃取租户内 Jira 工单和 Confluence 文档的漏洞,攻击通过间接提示注入利用其 URL 检索工具实现,无需人工审批即可执行,且即使组织禁用 R...AI资讯分类技术资讯# 安全/对齐# 智能体3个月前03550
共和党因与大型科技公司关系陷入恐慌共和党正因与大型科技公司的关系而陷入恐慌,原因是他们意识到大型AI议程在美国民众中极不受欢迎。特朗普已从反对AI监管转向强烈鼓励对前沿AI模型进行自愿预检测试。新成立的超级政治行动委员会Guardra...AI资讯分类技术资讯# 安全/对齐# 政策/监管3个月前02620