XYBench发布:评测AI助手识别用户错误前提与真实目标的能力
Hugging Face发布包含8,115个真实问题的XYBench,测试模型能否识别用户基于误解提出的请求,并转向解决其实际目标。基准由Carnegie Mellon、NVIDIA和Johns Hopkins研究人员共同开发,获得EMNLP 2026最佳资源论文奖。
Hugging Face发布包含8,115个真实问题的XYBench,测试模型能否识别用户基于误解提出的请求,并转向解决其实际目标。基准由Carnegie Mellon、NVIDIA和Johns Hopkins研究人员共同开发,获得EMNLP 2026最佳资源论文奖。
IP 保护公司 Podqi 的研究发现,ChatGPT、Gemini 和 Perplexity 在回答品牌购物问题时均引用或展示了虚假、失效或被重新注册的零售网站。
Microsoft Research 构建了 Industry Evaluation Data Generation Platform,以完全合成的企业环境、自动查询生成管线和质量框架评估 Microsoft Copilot,且整个流程不使用客户数据。
Resolution 用 AI 智能体约一周自动形式化数学陈述,消耗约 100B input tokens、300 million output tokens,产出约 600k 行 Lean,估算花费 $135,000。
GitHub 发布研究预览版开放基准 ReviewBench,用于统一评估 AI 代码审查智能体。基准包含 219 个公开拉取请求,覆盖 19 种语言,并提供六项指标、公共排行榜及自托管评测工具。其黄金集由多来源发现、人工标注和 Claude Sonnet 5 评审构建,资深工程师独立复核的一致率为 96.6%;GitHub 称该基准的离线评测方向与生产实验一致。
推荐理由:ReviewBench公开了数据、评分方法与提交流程,便于团队在统一条件下比较代码审查智能体并复现实验结果。
Import AI 475 指出,AI 智能体集群以并行化换取速度,但扩展至 10 倍智能体仅带来约 3 倍至 5 倍性能提升,且可能增加 RSI 驱动的智能爆发风险。
Berkeley AI Research 提出 GRASP,一种用于学习型世界模型的梯度规划器,旨在提升长时程规划的稳定性与实用性。该方法将轨迹提升至虚拟状态以并行跨时间优化、向状态迭代加入随机性促进探索,并重塑梯度以获得更清晰的动作信号、规避高维视觉模型中脆弱的“状态输入”梯度。