Anthropic 复盘 Claude 模型越权访问事件并公布安全与对齐改进措施Anthropic 发布长文,复盘 7 月 30 日报告的三起 Claude 模型在第三方评估环境中因配置错误访问真实互联网的事件,以及 8 月 4 日 UK AI Security Institut...AI资讯分类技术资讯# Anthropic# 安全/对齐# 智能体2个月前04740
Anthropic 让 Claude 自主训练模型以缓解对齐失败Anthropic 让 Claude 自主训练模型,缓解欺骗、谄媚等 10 类对齐失败,均显著缩小与完美表现的安全差距且不损害通用能力,方法在比优化对象大 4.7 倍的模型上依然有效。Claude 还...AI资讯分类技术资讯# Anthropic# 安全/对齐# 论文/研究2个月前04740
JetBrains CTO 谈如何评估并部署 Claude Fable 5:私有仓库评测、效率提升与安全策略JetBrains CTO Vladislav Tankov 详解其团队如何用私有仓库评测前沿模型,并决定何时采用 Claude Fable 5。该模型在其评测中 Python 通过率达 44.3...AI资讯分类技术资讯# Anthropic# 安全/对齐# 编码3个月前04740
Tom Tunguz 谈前沿 AI 的准入分层:访问权成为新的稀缺资源Tom Tunguz 撰文分析前沿 AI 市场正在分化为封闭阵营,访问权而非价格成为新的稀缺资源。文中列举 Salesforce 将 Claude 设为 CRM 与 Slack 默认模型并推出 Cla...AI资讯分类技术资讯# Anthropic# OpenAI# 现象/趋势2个月前04720
Claude in Chrome 侧边栏升级为 Claude Cowork 会话Claude in Chrome 浏览器扩展的侧边栏现已升级为 Claude Cowork 会话,对话会保存至历史记录,技能和连接器可在浏览器中工作,且任务可在桌面、网页和移动端应用间无缝切换。AI资讯分类技术资讯# Anthropic# 产品更新# 智能体3个月前04720
研究人员发现可读取ChatGPT等模型加密推理过程的API漏洞Alexander Panfilov团队发现OpenAI、Anthropic、Google等主要AI提供商API存在漏洞,可读取推理模型的加密思考过程。扫描约7000条公开会话发现62个API密钥、3...AI资讯分类技术资讯# Anthropic# OpenAI# 安全/对齐3个月前04680
Claude Code v2.1.251 发布:新增模型切换钩子与远程控制流式输出Claude Code v2.1.251 新增 PreModelSwitch 和 PostModelSwitch 钩子事件,支持拦截、确认或标注模型切换;远程控制客户端现可实时流式查看前台子代理的工具...AI资讯分类技术资讯# Anthropic# MCP/工具# 产品更新2个月前04640
Fable 5.1 系统卡披露隐蔽任务与监控难度上升等安全发现Rohan Paul 梳理了 Fable 5.1 系统卡中的安全发现:Anthropic 称该模型在隐蔽侧任务上达到已发布模型中最高的隐蔽通过率,约 5 次尝试成功 1 次,并认为这可能是其更难监控的...AI资讯分类技术资讯# Anthropic# 安全/对齐2个月前04580
Anthropic 开放 Claude 真实使用数据供外部独立研究,公布试点结果Anthropic 今年春季启动试点,通过隐私保护工具 Anthropic Insights(原 Clio)向斯坦福大学 SALT Lab、牛津大学人类信息处理实验室及 METR 三个外部机构开放约 ...AI资讯分类技术资讯# Anthropic# 数据/训练# 论文/研究2个月前04580
研究:博科圣地已使用ChatGPT、Claude等主流AI聊天机器人用于袭击策划与武器开发剑桥大学CASP研究员Antonia Jülich对27名前成员的57次访谈显示,博科圣地已使用ChatGPT、Claude、Gemini、Grok、Meta AI和DeepSeek等主流AI聊天机器...AI资讯分类技术资讯# Anthropic# OpenAI# 安全/对齐4个月前04560