MM-OPERA: Benchmarking Open-ended Association Reasoning for Large Vision-Language Models

文章核心总结本文提出MM-OPERA基准，针对大型视觉语言模型（LVLMs）的开放式关联推理能力进行评估，弥补现有闭卷任务无法捕捉复杂关联推理的缺陷。基准包含11,497个实例，涵盖远程项目关联（RIA）和上下文关联（ICA）两大任务，结合认知心理学原理，通过LLM-as-a-Judge策略实现多维度评估。实验表明，当前顶尖LVLMs在关联推理上仍显著落后于人类，尤其在发散思维、跨模态泛化和复杂推理路径上存在明显不足。核心创新点开放式关联推理基准设计：突破传统闭卷任务限制，采用无预定义答案的开放式任务，覆盖13个关联维度、15种语言和22个主题领域，全面评估收敛思维与发散思维的结合。双任务架构：RIA任务要求发现无关概念的深层关联，ICA任务侧重模式抽象与迁移，模拟人类关联推理的核心过程。精细化评估体系：提出常规评分与过程奖励评分（PR-Judge）结合的LLM-as-a-Judge策略，不仅评估结果质量，还通过推理路径拆解（如跳数、合理性、独特性）分析推理过程。多维度鲁棒性验证：通过图像替换、跨模态替换、输入顺序敏感测试，验证基准对表面特征干扰的抵抗力，确保评估的可靠性。翻译部分（Markdown格式）Abstract大