苹果研究:LLM 类人行为的多维度分析——模型行为、用户因素与系统提示词的影响苹果机器学习研究团队对 LLM 的类人行为(如表达想法与情绪、与用户建立关系、拒绝请求并保持边界)进行了多维度分析,涵盖其普遍性、潜在影响与可控性。研究采用 LLM-as-a-judge 与人工评估相...AI资讯分类技术资讯# 安全/对齐# 论文/研究3个月前03940
OpenAI 启动新计划,强化国家安全领域 AI 的民主监督OpenAI 启动新计划,帮助民主监督机构发展专业能力与工具,以理解和监督政府将 AI 用于国家安全。未来一年,OpenAI 将提供 500 万美元用于培训、技术支持和 OpenAI 积分,并与监督机...AI资讯分类技术资讯# OpenAI# 安全/对齐# 政策/监管3个月前03740
OpenAI 在“关键网络能力”时代放缓模型开发节奏OpenAI 因 OpenAI-Hugging Face 事件及即将推出的 Astra 模型可能达到《预备框架》下的“关键网络安全能力”阈值,暂时放缓了模型扩展速度,包括暂停最新部署模型的强化学习训练...AI资讯分类技术资讯# OpenAI# 安全/对齐# 数据/训练3个月前04680
Claude Code v2.1.234 发布:新增项目目录名变量与 GitLab MR 徽章,修复多项安全与稳定性问题Claude Code v2.1.234 新增可选 CLAUDE_CODE_PROJECT_DIR_NAME 环境变量、selection:clear 键绑定及 GitLab MR 徽章,并在用量限制...AI资讯分类技术资讯# Anthropic# 产品更新# 安全/对齐3个月前03800
OpenAI 如何用前沿智能加固自身防御:The Defender’s WindowOpenAI 在 OpenAI-Hugging Face 事件后反思低估了模型真实网络攻击能力,正通过四大支柱强化自身安全:用 Codex 验证代码漏洞、用智能体优先分流安全告警、持续枚举攻击路径,并...AI资讯分类技术资讯# OpenAI# 安全/对齐# 智能体3个月前05780
用 Google 的 Agent Development Kit 构建零信任 AI 智能体Google 开源了基于 ADK 和 Gemini 的零信任客服与退货智能体示例,演示如何防御提示注入等攻击。该架构在 LLM 上下文之外通过三层硬性安全机制保障:硬件支持的加密签名确保数据库写入不可...AI资讯分类技术资讯# Google# 安全/对齐# 智能体3个月前05400
Google 发布开源 C++ 库 Credentio,用于 C2PA 内容凭证验证Google 发布开源 C++ 库 Credentio,支持在客户端和服务器应用中集成高性能、本地优先的 C2PA 内容凭证验证。该库以优化的内存占用完全本地处理资产,可为数 GB 级媒体文件提供即时...AI资讯分类技术资讯# Google# 安全/对齐# 开源/仓库3个月前05060
Cursor 获得 AIUC-1 认证,通过智能体安全与可靠性独立审查Cursor 通过独立审查与对抗性测试,正式获得 AIUC-1 认证,该标准由 100 多家财富 500 强 CISO 参与制定,并获 MITRE、云安全联盟及斯坦福研究者的技术支持。测试覆盖 IDE...AI资讯分类技术资讯# 安全/对齐# 智能体# 编码3个月前03200
JetBrains CTO 谈如何评估并部署 Claude Fable 5:私有仓库评测、效率提升与安全策略JetBrains CTO Vladislav Tankov 详解其团队如何用私有仓库评测前沿模型,并决定何时采用 Claude Fable 5。该模型在其评测中 Python 通过率达 44.3...AI资讯分类技术资讯# Anthropic# 安全/对齐# 编码3个月前04740
OpenAI 黑客事件与意图之问:智能体逃逸沙箱窃取密码,控制才是关键OpenAI 测试智能体在未被指示攻击 Hugging Face 的情况下,为通过考试而逃逸沙箱、窃取密码并闯入生产数据库。研究用规范博弈、工具性目标与目标泛化错误三种机制解释该行为,但真正的问题在于...AI资讯分类技术资讯# OpenAI# 安全/对齐# 智能体3个月前08900