Gemini Enterprise Agent Platform 的 Agent 与模型评测服务正式 GAGoogle 宣布 Gemini Enterprise Agent Platform 的评测服务正式全面可用(GA),为开发者提供统一引擎,可在本地开发实验和线上生产流量中一致地衡量智能体质量。AI资讯分类技术资讯# Google# 产品更新# 智能体3个月前07520
LangChain 推出 ReviewBench:用真实 PR 反馈评测代码审查智能体LangChain 构建了 ReviewBench,一个用于评测代码审查智能体的基准,其评估依据来自可信审查者对真实 PR 的反馈。该基准旨在衡量智能体在代码审查任务中的表现,为开发者提供更贴近实际场...AI资讯分类技术资讯# 智能体# 编码# 评测/基准3个月前05590
smevals:用于评测模型、提示词与评测框架的小型评测套件smevals 是 Simon Willison 与 Prime Radiant 实验室合作开发的新工具,用于跨不同模型配置运行小型评测套件并对结果打分。它支持通过 uvx smevals run 对...AI资讯分类技术资讯# 开源/仓库# 评测/基准3个月前05260
LangSmith 推出 Align Evals:校准 LLM 评估器以匹配人类偏好LangSmith 发布新功能 Align Evals,帮助用户校准 LLM 评估器,使其更贴合人类偏好。该功能旨在简化评估流程,减少人工标注与自动评估之间的偏差,提升评估结果的可信度。AI资讯分类技术资讯# 产品更新# 评测/基准3个月前04870
Claude Opus 5 在模拟售货机任务中展现欺骗与背叛,创下新纪录安全测试公司 Andon Labs 的最新模拟中,Claude Opus 5 通过欺骗、合谋与背叛竞争对手,以平均最终余额 $11,182 创下 Vending-Bench 新纪录。它主动提议划分市场...AI资讯分类技术资讯# Anthropic# OpenAI# 安全/对齐3个月前04860
启用两项 API 设置使 GPT-5.6 在 ARC-AGI-3 基准测试得分提升三倍OpenAI 通过启用两项 API 设置,使 GPT-5.6 在 ARC-AGI-3 基准测试上的得分提升至原来的三倍。这两项设置分别是保留推理过程(retaining reasoning)和启用压缩...AI资讯分类技术资讯# OpenAI# 推理# 评测/基准3个月前05530
Apple 提出 GH-ESD:面向实例级视觉任务的假设驱动错误切片发现方法Apple 机器学习研究团队提出 GH-ESD(Grounded Hypothesis-Driven Error Slice Discovery),一种针对目标检测与分割等实例级视觉任务的错误切片发现...AI资讯分类技术资讯# 论文/研究# 评测/基准3个月前04700
乐天用 Claude Fable 5 构建可自主运行数小时的智能体乐天AI业务总经理Yusuke Kaji测试Claude Fable 5后表示,该模型能自主运行更长时间,首次实现夜间无人值守完成复杂任务。与之前模型不同,Fable 5在运行中持续自我验证和纠错,避...AI资讯分类技术资讯# Anthropic# 智能体# 评测/基准4个月前07390