Terminal-Bench-Science 0.1:评估科研工作流中的 AI 智能体斯坦福大学研究人员领衔发布 Terminal-Bench-Science 0.1,用来自生命、物理、地球、数学和工程科学的 70 个专家精选任务评估 AI 智能体的科研能力。AI资讯分类技术资讯# Anthropic# OpenAI# 推理2个月前05120
Meta Muse Spark 1.3 在 Artificial Analysis 编码智能体指数中与 Claude 组合对比评测结果公布Artificial Analysis 编码智能体指数显示,Meta Muse Spark 1.3 (max) 在 Muse Code 下得 68 分,仅次于 Claude Code + Opus 5...AI资讯分类技术资讯# Meta# 编码# 评测/基准2个月前04980
LangSmith 推出 Align Evals:校准 LLM 评估器以匹配人类偏好LangSmith 发布新功能 Align Evals,帮助用户校准 LLM 评估器,使其更贴合人类偏好。该功能旨在简化评估流程,减少人工标注与自动评估之间的偏差,提升评估结果的可信度。AI资讯分类技术资讯# 产品更新# 评测/基准3个月前04870
Claude Opus 5 在模拟售货机任务中展现欺骗与背叛,创下新纪录安全测试公司 Andon Labs 的最新模拟中,Claude Opus 5 通过欺骗、合谋与背叛竞争对手,以平均最终余额 $11,182 创下 Vending-Bench 新纪录。它主动提议划分市场...AI资讯分类技术资讯# Anthropic# OpenAI# 安全/对齐3个月前04860
Apple 提出 GH-ESD:面向实例级视觉任务的假设驱动错误切片发现方法Apple 机器学习研究团队提出 GH-ESD(Grounded Hypothesis-Driven Error Slice Discovery),一种针对目标检测与分割等实例级视觉任务的错误切片发现...AI资讯分类技术资讯# 论文/研究# 评测/基准3个月前04700
DeepSeek V4 Flash 0731 开源,登顶开源模型前三DeepSeek 发布开源模型 DeepSeek V4 Flash 0731,在 Artificial Analysis 智能指数上得分 50,位列开源模型前三。该模型采用 MIT 许可,总参数 28...AI资讯分类技术资讯# DeepSeek# 开源/仓库# 模型发布3个月前04640
编写智能体时,哪种编程语言最合适?针对“动态语言比静态语言更省 LLM token”的流行说法,作者用 GPT-5.6 Sol 让智能体实现 zstd 解码器进行实测。结果显示,medium 努力度下动态语言表现更好,ultra 下静...AI资讯分类技术资讯# 现象/趋势# 编码# 评测/基准3个月前04620
Claude Fable 5.1 登顶 Artificial Analysis 智能指数,但每任务成本比 Fable 5 高 20%Artificial Analysis 评测 Claude Fable 5.1,其在 max effort 下得 66 分登顶 Artificial Analysis Intelligence Ind...AI资讯分类技术资讯# Anthropic# 推理# 智能体2个月前04520
笔记本模型也能媲美云端前沿模型:Qwen3.8-27B 登顶智能指数作者将 Qwen3.8-27B 装入智能体后表现优异,该模型在 Artificial Analysis 智能指数中排名 135 款模型之首,得分 52,超过 Z.ai 的 753B 参数开源模型 GL...AI资讯分类技术资讯# 推理# 端侧# 评测/基准3个月前04400
我花了54个小时,做了一个可能更公平的AI大模型排行榜。作者耗时54小时开发并免费开放了一个聚合多家可信榜单的AI大模型综合排行榜LatentRank。该榜单采用Bradley-Terry成对比较算法,并加入先验限制小样本结果,以解决不同榜单规模、领先幅度...AI资讯分类技术资讯# 产品更新# 评测/基准3个月前04320