LangSmith 推出 Align Evals：校准 LLM 评估器以匹配人类偏好
LangSmith 发布新功能 Align Evals，帮助用户校准 LLM 评估器，使其更贴合人类偏好。该功能旨在简化评估流程，减少人工标注与自动评估之间的偏差，提升评估结果的可信度。
排序
Google DeepMind 推出全球首个专有前沿 AI 模型双盲评测
Google DeepMind 推出全球首个针对专有前沿 AI 模型的双盲评测，将外部评测限制在加密“盒子”中，防止模型提前看到测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI...
笔记本模型也能媲美云端前沿模型：Qwen3.8-27B 登顶智能指数
作者将 Qwen3.8-27B 装入智能体后表现优异，该模型在 Artificial Analysis 智能指数中排名 135 款模型之首，得分 52，超过 Z.ai 的 753B 参数开源模型 GL...
smevals：用于评测模型、提示词与评测框架的小型评测套件
smevals 是 Simon Willison 与 Prime Radiant 实验室合作开发的新工具，用于跨不同模型配置运行小型评测套件并对结果打分。它支持通过 uvx smevals run 对...
实测GPT-6 Astra：速度、前端与代码能力对比GPT-5.6 Sol的全面升级
GPT-6 Astra正式向所有订阅用户推送，作者实测后认为其综合能力追平Claude Fable 5，且额度100%可用。相比GPT-5.6 Sol，速度明显提升，大型系统审查从数小时缩短到约10分...
Databricks 发布 OfficeQA Pro V2：面向企业落地推理的新基准
Databricks 发布 OfficeQA Pro V2，一个用于评估企业落地推理能力的新基准。该基准旨在检验模型在真实办公场景中基于给定资料进行推理的准确性与可靠性，为企业级 AI 应用选型提供参...
编写智能体时，哪种编程语言最合适？
针对“动态语言比静态语言更省 LLM token”的流行说法，作者用 GPT-5.6 Sol 让智能体实现 zstd 解码器进行实测。结果显示，medium 努力度下动态语言表现更好，ultra 下静...
测量语音识别中的基准优化：Hugging Face 新测试揭示 ASR 模型“刷分”现象
Hugging Face 最新研究引入三项测试量化语音识别中的基准优化（benchmaxxing）现象。对 11 个开源 ASR 模型的评估显示，多个高分系统会复现 VoxPopuli 和 Libri...
