文 | 学术头条

9.11 和 9.9 哪个大？

这一连人类幼儿园儿童都能回答的问题，曾经（至今）难倒了众多大语言模型（LLM）。

然而，要想达到通用人工智能（AGI）的水平，LLM 不仅要完成“比大小”这种简单的逻辑推理，还需要完成难度更高的推理，比如“对复杂规则的理解与执行以及多步骤规划”，这是 LLM 智能体（agent）和决策系统的核心能力。

因此，如何有效评估 LLM 作为基于规则的执行者和规划者角色，至关重要。但是，目前学界和业界少有这方面的研究。

来自清华大学和智谱的研究团队推出了一项新的基准测试——LogicGame，旨在全面评估 LLM 在规则理解、执行和规划方面的能力。先看评测结果：

图｜LogicGame 的评测结果和样例展示。上图为各种模型在执行和规划类别中的表现；下图（左、右）分别为两个执行和规划类别案例研究。

除了看到 o1-preview、o-mini 的遥遥领先，我们也看到超过一半的模型得分不到 10%，如上图红色区域所示。

这一评测结果揭示了一个不容忽视的事实：大多数 LLM 在基于规则的逻辑推理上都存在着明显的缺陷。

相关研究论文以“LogicGame: Benchmarking Rule-Based Reasoning Abilities of Large Language Models”为题，已发表在预印本网站 arXiv 上。

论文链接：

https://arxiv.org/abs/2408.15778

与传统基准测试不同，LogicGame 包含一系列多样化的游戏，每个游戏都有一套初始状态规则，这要求模型不仅能够理解这些预定义的规则，还可以应用它们来解决问题。而且，LogicGame 还同时考虑了最终结果和中间步骤，从而对模型性能进行全面的评估。

研究结果显示，通过设定不同难度的游戏场景，LogicGame 能够精确地衡量模型在规则理解和多步骤执行及规划任务上的表现。

LogicGame：“四级”难度游戏场景

遵循规则与推理的结合是完成许多现实世界任务的关键。然而，现有基准测试常常无法充分捕捉这一点。

为了填补这一空白，研究团队通过广泛的研究和众包开发了一套新颖的问题集。他们发现这些任务与某些游戏机制相似，因为现实世界的任务通常与游戏有着共同特征，比如需要遵循特定的规则，进而进行决策。因此，他们采用了游戏化的方法，从而能够对模型遵循规则的推理能力进行细致的评估。

其中，LogicGame 的数据构建，包含以下四个部分：

如下图，每个模型都会收到一组特定于给定问题的规则作为输入 prompt，以及一个相应的问题和一个 JSON 格式的输出约束，包括答案和步骤。

图｜LogicGame 中分类和评测方法的说明。分类中插图用紫色突出显示涉及数学的类别。

LogicGame 的评测方法使用自动化方法，不仅要评估答案的正确性，还要评估得出答案的步骤的正确性，具体包括评估模型的答案准确率（A-Acc）、步骤准确率（P-Acc）和答案步骤准确率（AP-Acc）。

每个问题答案的评分是通过比较模型的响应和参考答案来确定的。同样，根据 JSON 格式约束的定义，每个问题步骤的评分也是通过评估模型步骤与参考步骤的一致程度来实现的。

这一评测方法确保模型遵循规则进行推理，并全面评估模型的推理能力。

表现如何？OpenAI o1 遥遥领先

如下图，不论在中英文版本中，在执行类别的最高难度 Level 3 下，o1-preview、o1-mini 在 14 个被评测模型中的得分遥遥领先，国内模型的得分未能破 10，甚至出现了多个 0 分；在规划类别的最高难度 Level 3 下，OpenAI o1 的领先优势亦是如此。

图｜14 个模型在 LogicGame 中文版本上的 AP-Acc% 指标性能。

图｜14 个模型在 LogicGame 英文版本上的 AP-Acc% 指标性能。

在执行类别中，随着 shot 数目的增加，模型的准确性有了显著提高。具体来说，更强大的模型（如 GPT-4o）在从 0-shot 转换到 1-shot 和 2-shot 时，AP-Acc 分数会有更大的提升，表明它们能够更好地利用额外的上下文信息来提高执行精度。

图｜LogicGame 中文版本在执行和规划类别上的少样本差异。

我们还观察到，在执行任务中，添加示例通常会提高模型在执行任务中的表现，尤其是在简单任务（Level 0）中。

图｜LogicGame 中文版本在不同难度级别上的 shot 差异设置与上图类似。

然而，1-shot 和 2-shot 设置对模型在不同难度级别上的影响有所不同。模型在 Level 0 中从示例中受益最大，但随着难度级别的提高，示例的影响会逐渐减弱。

在规划任务中，添加示例对模型在规划任务中的表现影响更为复杂。一些模型在从 0-shot 转换到 1-shot 或 2-shot 设置时，表现会下降，这表明额外的上下文信息可能会引入噪声，干扰模型对关键信息的理解。总体而言，1-shot 对模型的影响最明显，但随着难度级别的增加，其影响会逐渐减弱，而 2-shot 则更加不稳定，没有明显的规律。

在一项案例研究中，LLM 在黑白棋（Reversi）游戏中的表现几乎“惨不忍睹”，除了 OpenAI o1，其他模型的得分几乎为（接近于）0，这同样表明 LLM 在处理复杂规则和进行多步推理方面依然困难。

图｜表现最差的五个类别的 AP-Acc% 平均得分。热图中显示了每个类别的 AP-ACC% 平均得分，模型在执行和规划场景中的表现都很差，特别是在“Reversi”中，许多模型的得分接近零。

图｜一个带有模型输出的 Reversi 游戏示例，包括答案和步骤。

研究团队对这一失败表现进行了分析，认为有以下三点原因：

LLM 的推理能力仍有待提高

在这篇论文中，研究团队为评估 LLM 基于规则的推理能力，提出了一种新颖的基准 LogicGame，这一基准包含多个难度级别，重点评估模型对规则的理解、基于这些规则的执行以及规划能力。

同时，他们还开发了评估结果和推理过程的方法，确保模型忠实地遵循给定的规则，而不仅仅是猜测答案。

广泛的实验表明，目前的大模型在基于规则的推理任务中仍然表现出明显的不足。

对此，研究团队认为，LLM 的推理能力仍有待提高，尤其是在理解复杂规则、进行多步推理以及学习和应用新规则方面。

为使 LLM 能够更好地理解和执行规则，它们的推理能力还需要进一步改进，比如通过更有效的训练方法或引入新的推理机制。

此外，为了更全面地评估 LLM 的推理能力，需要开发更有效的评估方法。例如，通过引入更复杂的规则和更困难的推理任务。

一起来 battle！

想要证明你的大模型逻辑推理能力有多强？不妨参与 LogicGame 评测，与国内外众多大模型一起来 battle。

研究团队在 GitHub 上维护了一个 Leaderboard，分别展示模型在 LogicGame 中英文版和中文版的表现，其按照 AP-Acc% 进行排名，主要评估指标包括：

图｜14 个大模型在中文版 LogicGame 上的表现

图｜14 个大模型在英文版 LogicGame 上的表现

那么，如何获取你的模型在 LogicGame 中英文版和中文版的表现呢？

研究团队在 GitHub 上存放了用于展示的 dev 数据，并提供了 Codabench（一个专门用于模型评测的平台，能够提供高效、公正且统一的评估环境）提交时所需的输入数据。你可以下载 zh_all 和 en_all 文件（分别代表中文版和英文版的数据全集），将其输入你的模型以获取模型回复，并将此回复作为 Codabench 提交时的输入数据，即可获得评测结果反馈。

访问以下链接了解详情：

Leaderboard 链接：

https://github.com/Hypatiaalegra/LogicGame-Data

Codabench 提交链接：

https://www.codabench.org/competitions/4140/