11 月 6 日消息，一项新研究称，当前用于评估人工智能（AI）系统能力的方法普遍存在夸大 AI 性能的问题，且缺乏科学严谨性。
据了解，该研究由牛津大学互联网研究所（Oxford Internet Institute）牵头，并联合来自其他机构的 30 多位研究人员共同完成。研究团队对 445 项主流 AI 测试（即“基准测试”，benchmarks）进行了系统分析，这些测试通常用于衡量 AI 模型在各种主题领域的表现。
AI 开发者和研究人员常借助这些基准测试来评估模型能力，并以此宣称技术进步，从软件工程能力到抽象推理能力等。然而，本周二发布的这篇论文指出，这些被视为基础的测试可能并不可靠，并对大量基准测试结果的有效性提出质疑。
根据研究，大量顶级基准测试未能明确定义其测试目标，且重复使用已有基准的数据和测试方法，并且很少采用可靠的统计方法来比较不同模型之间的结果。
牛津大学互联网研究所高级研究员、该研究的共同第一作者亚当・马赫迪（Adam Mahdi）表示，这些基准测试可能具有惊人的误导性。他告诉 NBC 新闻：“当我们要求 AI 模型执行某些任务时，实际上往往测量的是完全不同于我们最初意图测量的概念。”
另一位共同第一作者、牛津大学互联网研究所研究员安德鲁・比恩（Andrew Bean）也表示，即便是声誉良好的基准测试也常常被盲目信任，理应接受更严格的审视。他表示：“当你听到‘某个模型达到博士水平的智能’这类说法时，一定要持保留态度。我们并不确定这些测量是否真的做得很好。”
研究中分析的部分基准测试衡量特定技能，如俄语或阿拉伯语能力；另一些则衡量更通用的能力，如空间推理或持续学习能力。
作者们关注的核心问题在于：某一基准测试是否真正有效衡量了其所声称要测量的现实世界现象—— 研究者称之为“构念效度”（construct validity）。例如，一项被研究审查的基准测试并非通过无休止的问题来评估模型的俄语表达能力，而是通过九项不同任务（如利用俄语维基百科信息回答是非题）来衡量模型表现。
然而，研究发现，约一半的基准测试未能清晰界定其所声称要测量的概念，这使其能否提供关于 AI 模型的有用信息受到严重质疑。
研究以“小学数学 8K”（Grade School Math 8K，简称 GSM8K）这一常见 AI 基准测试为例。该测试通过一组基础数学题评估模型表现。外界常引用 GSM8K 排行榜来证明 AI 模型在基础数学推理方面能力出众，其官方文档也称其“有助于探查大语言模型的非形式化推理能力”。
但研究作者马赫迪指出，在 GSM8K 等基准测试中答对问题，并不一定意味着模型真正进行了数学推理。他表示：“当你问一年级学生 2 加 5 等于几，他们回答 7，没错，这是正确答案。但你能据此断定五年级学生仅凭会做加法就掌握了数学推理或算术推理吗？或许可以，但我认为答案很可能是否定的。”
比恩承认，像“推理”这类模糊概念的测量必然依赖对任务子集的评估，而这种选择不可避免地存在缺陷。他说道：“这些评估包含许多动态因素，要兼顾所有方面需要平衡。但本研究呼吁基准测试必须清晰界定其测量目标。”
他补充道：“对于‘无害性’或‘推理’这类概念，人们常常只是随便选一个接近该范畴、便于测量的东西，就说‘好了，我已经测出来了’。”
在这篇新论文中，作者提出了八项具体建议，并提供了一份检查清单，旨在使基准测试标准系统化，提升其透明度与可信度。建议的改进措施包括：明确界定所评估行为的具体范围；构建更能代表整体能力的任务组合；以及通过统计分析比较模型表现。
