论文提出PHYBench这一用于评估大语言模型物理推理能力的高质量基准测试，包含500道基于现实物理场景的问题，涵盖多个物理领域和难度级别。同时提出表达式编辑距离（EED）分数这一评估指标，通过与人类专家对比实验发现，即使是最先进的推理模型在物理推理任务上也与人类存在显著差距，凸显模型在物理感知和稳健推理方面的局限。

1
2
3
4
5
6
7
8
9
10
11
12
## **PHYBench基准测试介绍**
- 包含500道物理问题，涵盖多领域和多难度
- 问题基于现实场景，需推导符号表达式
## **评估指标**
- 准确性指标：判断模型答案与正确答案是否完全一致
- EED分数指标：计算表达式树编辑距离衡量相似性
## **实验设置与结果**
- 测试多种模型，包括前沿和常用模型
- 人类专家准确率61.9%，EED分数70.4，远超模型
## **错误分析**
- 物理感知错误：对物理过程理解不足，如误解运动关系
- 稳健推理错误：推理过程不一致，解方程困难

研究背景

  1. 大语言模型（LLMs）推理能力提升，但现有基准测试在评估其物理感知和推理能力方面存在不足。
  2. 问题包括推理任务过于简化、问题过度抽象、缺乏精确评估指标。

PHYBench基准测试

  1. 构成与难度：包含500道精心策划的物理问题，涵盖力学、电磁学、热力学等多个领域，难度从高中到本科及物理竞赛水平。
  2. 数据集整理：问题改编自物理练习，由北大物理学院学生参与贡献和完善，经过多轮审查、测试和优化，确保问题质量和规范性。
  3. 评估指标
    • 准确性（Accuracy）：传统的判断模型答案是否正确的指标，以二进制（正确/错误）计分。
    • 表达式编辑距离（EED）分数：基于表达式树编辑距离，计算模型生成答案与正确答案的相似度，能更细致地反映模型推理的正确性，分数范围为0 - 100分。
指标 计算方式 特点
准确性 模型答案与正确答案完全一致计100分，否则计0分 简单直观，但无法区分部分正确情况
EED分数 通过计算表达式树编辑距离，根据相对编辑距离确定分数 能反映模型答案与正确答案的相似程度，对部分正确答案也能计分

实验

  1. 实验设置：测试多种具有代表性的LLMs，包括前沿模型和广泛应用的模型，使用准确性和EED分数两个指标评估，本地运行模型设置特定推理参数。
  2. 人类基线：招募81名北大物理学院学生参与答题，平均准确率为61.9% ± 2.1%，EED分数为70.4 ± 1.8，在两个指标上均显著优于所有评估的LLMs。
  3. 主要结果
    • 即使是最先进的推理模型在物理推理任务上表现也有限，如Gemini 2.5 pro准确率为36.9%，EED分数为49.5，远低于人类基线。
    • EED分数在评估模型性能时，数值分布更广泛，统计不确定性更小，平均样本效率比准确性指标提高304%。
  4. 模型在不同领域的表现
    • 定义绝对优势和相对优势两个指标，分析模型在不同物理领域的表现。
    • 不同模型在不同领域各有优劣，如传统模型在力学领域表现较差，推理专用模型在力学领域表现相对较好，热力学问题能体现推理和非推理模型的差距。

错误分析

  1. 物理感知错误：模型对物理过程理解不足和建模能力欠缺，导致对物理场景的错误判断，影响最终答案，32B模型在这方面表现尤其差。
  2. 稳健推理错误：模型在长而复杂的推理过程中难以保持一致性，解方程存在困难，物理问题的长程符号推理对当前模型是重大挑战。
  3. EED指标的作用：EED分数能有效捕捉物理感知和稳健推理阶段的错误，通过量化中间过程的差异，评估模型的推理能力。

研究结论

  1. PHYBench为评估LLMs的物理推理能力提供了全面的基准测试，EED分数能更细致地评估模型推理过程。
  2. 实验结果表明当前LLMs在物理感知和稳健推理方面存在基本限制，与人类专家有较大差距，未来发展面临挑战和机遇。

问题1：PHYBench与其他推理基准测试相比有哪些独特之处？
答案：PHYBench包含500道高质量问题，涵盖多种物理领域和难度级别，基于现实物理场景。其评估指标除了准确性还有EED分数，能更细致评估模型推理能力。其他基准测试存在任务简化、问题抽象、评估指标单一等问题，如GSM8K数据规模为8.5K，难度为小学级别，采用准确率和二进制评分；OlympiadBench有8K道题，为竞赛级别，答案类型为受限的LATEX表达式，采用准确率和二进制评分。

问题2：EED分数相较于传统二进制评分的优势体现在哪些方面？
答案：EED分数基于表达式树编辑距离，能有效捕捉模型答案与正确答案的相似度，对于部分正确的答案也能给出非零分数，更好地反映模型的能力。而传统二进制评分在任务过难或过易时，分数易集中在极高或极低水平，无法有效区分模型能力。例如在低分段，EED评分的鉴别力和线性度更高，信息容量更大，平均样本效率比准确性指标提高304%。

问题3：从实验结果来看，不同类型模型在物理推理任务上的表现有何差异？
答案：推理专用模型通常优于通用语言模型，如Gemini 2.5 pro作为表现较好的模型，准确率为36.9%，EED分数为49.5；而一些通用模型如DeepSeek-V3、GPT-4.1和Claude 3.7 Sonnet的准确率分别为13.6%、12.9%和13.2%。32B模型如DeepSeek-Distill-32B和QwQ-32B在PHYBench上表现较弱，准确率分别为2.6%和1.2%，EED分数分别为4.5和3.2。

出题要求核心：

  • 基于文本的表述：所有问题必须仅通过文本描述就能求解，不依赖多模态输入。
  • 严格的符号答案：答案必须是单一、明确的符号表达式（例如，$2mg + \frac{4mv_{0}^{2}}{l}$ ）。我们允许符号表达式有不同的等价形式（例如，因式分解或重新排列后的形式）。但答案中不接受方程（例如，$\frac{T}{m} - 2g = \frac{v_{0}^{2}}{l}$ ）或浮点近似值。
  • 表述明确：问题表述必须严谨精确，避免歧义。

在本节中，我们将介绍表达式编辑距离分数（EED分数）的计算流程和详细信息。这是一种自动化、无模型依赖的评估指标，旨在评估人工智能生成的解决方案的正确性。

EED分数通过计算表达式树编辑距离来评估两个符号表达式之间的相似性。这个距离表示将一个树状结构的表达式转换为另一个所需的最少节点级编辑操作（插入、删除和更新）次数。

为了表述清晰，在接下来的讨论中，我们用“gt”作为“正确答案（ground truth）”的缩写，用“gen”表示“模型生成的答案”。

EED分数的计算包含几个步骤。首先，我们将gt和gen表达式从LaTeX格式转换为与SymPy兼容的形式。然后，我们使用simplify()函数来验证它们是否等价，该函数会将每个表达式转换为简化且结构一致的格式。

因此，在进一步计算EED分数之前，我们可以使用一个简单的等价标准进行基本的二进制计分，定义如下：
[score_{Bin}=\begin{cases}100, & \text{如果 } simplify(gt)\equiv simplify(gen) \ 0, & \text{否则}\end{cases}]

随后，我们将简化后的SymPy表达式转换为树结构，并使用扩展的Zhang - Shasha算法[3]计算它们的最小编辑距离。最终的EED分数由一个基于相对编辑距离（编辑距离与正确答案树中节点总数的比值）的分段线性函数确定：
[r = \frac{Distance(T_{gt}, T_{gen})}{Size(T_{gt})}, score =\begin{cases}100, & \text{如果 } r = 0 \text{（完全匹配）}\ 60 - 100r, & \text{如果 } 0 < r < 0.6\ 0, & \text{如果 } r > 0.6\end{cases}]

此外，我们的算法扩展了基本的三种树编辑操作，增加了子树插入和删除操作。对于较大的子树（节点数大于5），这些操作的成本系数降低为60%，明显低于逐节点进行编辑的成本。计分函数“60 - 100r”的设定是为了确保完全错误的输出得分为0分，而对于接近正确的模型生成答案给予60分的基础分。

采用EED分数而非传统二进制计分的主要动机是为了更好地捕捉模型解决方案的正确程度。即使生成的答案有细微差异，比如小的计算错误或系数错误，这也表明模型对底层物理知识有部分理解，而非完全误解。附录A.1中提供了关于我们评估指标更详细的解释和示例。