跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

6 条精选近 30 天 5 条共收录 25 条

更新

评测基准的精选

11月14日周六第 1–6 条
  1. AWS Machine Learning Blog68

    AWS 提出 Agent DLC 智能体生产工程方法

    AWS 提出 Agent DLC,通过一个生命周期、内外两层循环和统一的验收标准来评估并改进生产环境中的 AI 智能体。其参考实现展示了高检索精度可能掩盖事实级覆盖不足,并说明提示词改动为何无法解决知识库缺失。文中还给出五维验收标准、三级发布门槛,以及在 AWS 上建立首个评估基线的步骤。

    推荐理由:文章用内部 HR 政策助手案例说明单一指标可能掩盖检索覆盖问题,并给出可复现的评估流程。

11月13日周五
11月10日周二
  1. Simon Willison77

    Meta AI 发布小型高效模型 Muse Ember

    Meta AI 发布 Muse Ember,将其定位为面向复杂推理及智能体重复任务的高效模型,并提供 6 个推理档位。其短提示词价格为每百万输入 token $0.10、每百万输出 token $0.50,支持最多 100 万输入 token,超过 200k 提示词后输入与输出价格分别升至 $0.30 和 $1.50。

    推荐理由:文章对比了 Muse Ember 与两款同级模型的定价、上下文阈值和任务成本,并展示不同推理档位的实际输出差异。

  2. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics 2.5 机器人模型

    Google DeepMind 发布 Gemini Robotics 2.5 视觉语言动作模型,提升机器人的技能广度、学习速度、灵巧性与安全性。该模型已面向机器人合作伙伴推出,在 200 多项任务中较此前基线取得 30% 至 100% 的更高成功率,任务完成速度提升 20% 至 30%。

    推荐理由:模型在灵巧性、真实产线可靠性和安全控制方面的评测数据,为机器人进入非结构化环境提供了具体参照。

11月9日周一
  1. NVIDIA Blog77

    NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0 等机器人仿真技术

    NVIDIA 在 CoRL 大会上推出开放机器人技术,包括世界动作模型 GR00T 2、Isaac Lab 3.0、Video to Data 工作流和 Isaac Lab-Arena 0.4 开发者预览。

    推荐理由:把世界动作模型、仿真框架和评测基准放在同一条线上讲清了机器人精细操作训练从 locomotion 转向 manipulation 的实现路径。

10月5日周一
  1. GitHub Blog · AI & ML70

    GitHub 发布开放 AI 代码审查基准 ReviewBench

    GitHub 发布研究预览版开放基准 ReviewBench,用于统一评估 AI 代码审查智能体。基准包含 219 个公开拉取请求,覆盖 19 种语言,并提供六项指标、公共排行榜及自托管评测工具。其黄金集由多来源发现、人工标注和 Claude Sonnet 5 评审构建,资深工程师独立复核的一致率为 96.6%;GitHub 称该基准的离线评测方向与生产实验一致。

    推荐理由:ReviewBench公开了数据、评分方法与提交流程,便于团队在统一条件下比较代码审查智能体并复现实验结果。