1. 项目概述从“智能”的模糊定义到可测量的新框架我们每天都在谈论大模型的“智能”说某个模型“很聪明”或者批评另一个模型“逻辑混乱”。但“智能”究竟是什么在人工智能领域这几乎成了一个玄学问题。传统的评测基准比如让模型做数学题、写代码、回答常识问题固然能反映模型在特定任务上的表现但它们更像是“应试教育”下的分数难以全面衡量一个模型是否真正具备了接近人类水平的、通用且灵活的智能。这就好比用高考分数去评价一个人的创造力、同理心或解决复杂现实问题的综合能力显然是不充分的。“认知科学启发的AGI测试”这个项目正是为了解决这个核心痛点。它不是一个单一的评测集而是一套全新的、系统性的评估框架。其核心思想是与其从外部任务表现去间接推断模型的“智能”不如直接借鉴人类智能的“蓝图”——认知科学。认知科学通过研究人类的感知、学习、记忆、推理、决策、语言、社会认知等核心能力为我们理解“智能”提供了结构化的维度。这个框架试图将这些维度“翻译”成一系列精心设计的、可量化的大模型测试任务从而对模型的智能进行多维度的“CT扫描”而不仅仅是拍一张“X光片”。这套框架的价值在于它能为模型开发者、研究者和使用者提供一个更精细的“诊断工具”。我们不仅能知道模型总分多少更能知道它在“工作记忆广度”、“类比推理能力”、“心理理论”理解他人意图和信念的能力、“反事实思维”等具体认知维度上的强弱项。这对于指导模型迭代比如发现模型在“规划”维度薄弱就针对性增强相关训练、进行模型选型根据实际应用场景所需的认知能力组合来选择模型、以及推动AGI通用人工智能理论研究都具有深远的意义。接下来我将拆解这个框架的设计思路、核心模块并分享如何将其落地为具体、可操作的测试方案。2. 框架设计思路将人类认知维度映射为可测试任务构建这样一个框架首要挑战是如何将抽象的认知能力转化为模型可执行、结果可评估的具体任务。这需要深入理解每个认知维度的本质并找到其与当前大模型技术接口主要是文本生成、对话、指令跟随的契合点。2.1 核心认知维度的选取与定义认知科学领域对智能的分解有多种理论我们选取了几个公认的核心且对大模型评估至关重要的维度记忆与提取不仅仅是“记住了多少数据”更关注工作记忆在解决当前问题时临时保持和处理信息的能力和情景记忆提取根据线索从海量参数中精准提取相关信息并保持上下文一致性的能力。这与模型的上下文窗口利用、长文档理解、多轮对话一致性直接相关。推理与问题解决超越简单的逻辑推理包括演绎推理从一般到特殊、归纳推理从特殊到一般、类比推理发现不同领域间的结构相似性以及因果推理。这是模型解决复杂问题、进行科学发现的核心。学习与适应评估模型从少量样本中快速学习新概念小样本学习、根据反馈调整策略在线学习、以及将在一个领域学到的技能迁移到另一个领域迁移学习的能力。这直接关系到模型的实用性和泛化能力。社会认知这是评估模型是否具备“理解人心”能力的关键主要包括心理理论推断他人的知识、信念、欲望和意图和共情识别和理解他人的情绪。这对于构建能进行自然、得体社交交互的AI至关重要。元认知与规划指模型对自身认知过程进行监控、评估和调节的能力。例如模型能否知道自己“不知道”表达不确定性能否规划多步骤任务的执行顺序能否在遇到困难时调整策略。感知与具身推理模拟虽然当前主流是纯文本模型但通过文本描述物理场景和动作可以间接测试模型的空间推理和物理常识。例如理解“把桌上的杯子放进水池”需要一系列隐含的物理规则和空间关系知识。2.2 从维度到任务的设计原则将上述维度转化为任务时我遵循了几个关键原则这些原则源于实际构建测试集时踩过的坑原则一避免数据污染与记忆作弊。这是最大的挑战。许多经典的认知测试题如瑞文推理测验、心理理论故事可能早已存在于模型的训练数据中。直接使用会导致模型“背诵答案”而非“展现能力”。解决方案是动态生成使用模板和规则动态生成测试题目确保每次测试的题目都是新的。例如类比推理题可以随机抽取物体属性和关系来生成新的“A:B :: C:?”问题。复杂化与组合将简单的认知任务嵌套在复杂的、叙事性的上下文里。例如测试心理理论时不直接问“小明以为巧克力在哪里”而是将其嵌入一个500字的故事中需要模型追踪多个人物的信念变化。评估过程而非结果对于规划类任务要求模型输出每一步的思考过程思维链评估其步骤的合理性和完整性而不仅仅是最终答案的正确性。原则二确保评估的客观性与可量化性。认知任务很多是开放性的但评估必须尽可能客观。多选题与结构化输出对于推理、记忆等任务尽量设计成有明确选项的选择题或要求模型以特定格式如JSON输出关键判断点便于自动评分。评分量规对于生成性任务如根据新概念编故事需要制定详细的评分量规Rubric从相关性、创造性、连贯性等多个维度进行人工或基于模型的评分。可以训练一个专门的“评分模型”但其本身需要经过严格校准。对抗性提示在测试中引入诱导性、误导性的提示观察模型是否会被“带偏”这能有效测试其推理的稳健性和元认知能力。原则三贴近现实场景与实用性。测试的最终目的是为了预测模型在真实世界中的表现。因此任务设计应尽可能模拟现实世界的复杂性。多模态信息整合即使测试文本模型也可以提供详细的文本描述来模拟视觉或听觉信息要求模型进行整合。资源约束与权衡引入类似“时间压力”限制生成token数或“信息不完整”的条件观察模型如何在不确定性下做出决策。长程依赖与状态追踪设计需要跨越数百甚至数千个token保持信息一致性的任务测试模型的长时记忆和注意力机制的有效性。实操心得任务设计的“冰山原则”一个好的认知测试题应该像冰山一样。用户看到的表面任务如“续写故事结尾”只占10%而水面下隐藏的、我们真正要评估的认知维度如因果推理、角色心理状态追踪、社会规范理解占90%。设计时要反复自问模型答对这道题最小充分条件是什么如果模型仅靠记忆、语法模式匹配就能答对那这个任务就是失败的。必须确保答对的唯一路径是动用了我们想要评估的那个特定认知能力。3. 核心测试模块详解与实操案例基于上述思路我们可以构建几个核心测试模块。这里我以“社会认知”和“类比推理”为例详细拆解其设计、实现和评估过程。3.1 社会认知模块心理理论与共情测试这个模块的目标是评估模型理解他人心智状态的能力。3.1.1 “错误信念”任务的现代化改造经典的“萨莉-安妮”测试两个娃娃萨莉把球放在篮子后离开安妮把球移到盒子问萨莉回来会去哪里找球对大模型来说太简单。我们需要更复杂的变体。实操案例嵌套式信念追踪任务故事背景在一个公司项目中Alex负责人在周一会议上告诉团队最终演示文稿存放在共享网盘的“Final_V1”文件夹。周二Ben组员发现V1版本有重大错误他修改后上传了新版本到“Final_V2”并在团队聊天群中了所有人但Alex那天请假没看手机。周三Chris另一个组员和Alex一起吃午饭时口头告诉Alex“Ben更新了演示稿最新版在V2”。周四Alex需要向客户预演他打开电脑准备找文件。问题1直接信念周四Alex认为演示文稿在哪个文件夹问题2二级信念周四Chris认为Alex会去哪个文件夹找演示文稿问题3现实实际上最新的演示文稿在哪个文件夹设计与评估要点评分三个问题必须全部答对V1, V1, V2才算通过。这要求模型精确区分“Alex的信念”、“Chris对Alex信念的信念”和“客观事实”。防作弊故事中的人物名、项目内容、文件夹名、沟通方式会议、群聊、口头均可随机化生成构成海量变体杜绝记忆。进阶挑战可以引入“欺骗”情节如Ben故意误导Alex测试对意图的理解或增加时间跨度和更多人物提升信念追踪的深度和广度。3.1.2 共情与情感回应测试这不仅仅是识别情绪“悲伤”、“高兴”而是评估模型能否生成情境恰当、具有支持性的回应。实操案例情境化共情回应生成情境你的朋友对你说“我花了整整三个月准备的那个重要项目提案今天被领导全盘否定了他说方向完全错了。我感觉自己这几个月的心血全白费了特别挫败。”任务请以朋友的身份生成一段回应。你的回应需要展示出你对朋友感受的理解和支持。评估方法采用评分量规 我们设计一个从1到5分的量规情感识别准确性1-5分回应是否准确识别了“挫败”、“失望”、“心血白费”等核心情感验证与接纳1-5分回应是否验证了这些感受的合理性如“这确实让人非常挫败”而非否定或急于解决问题如“别难过了再做一个就是了”支持性行动可选1-5分回应是否提供了开放式的支持如“如果你想聊聊细节我随时都在”而非强行给建议评估可以由经过训练的人工评分员完成也可以先用一个高质量的共情回应数据集微调一个“评分模型”进行初筛。关键是要有清晰、可操作的标准。3.2 类比推理模块关系映射与系统泛化类比推理是智能的基石它考验模型发现深层关系结构并将其应用于新领域的能力。3.1.1 经典语义类比与关系抽取首先从经典的“单词类比”开始但提升难度。实操案例高干扰项语义类比选择题已知关系作家 - 作品 创作关系 示例莎士比亚 - 哈姆雷特 问题毕加索 - 选项A. 吉他乐器 B. 格尔尼卡画作 C. 巴黎地点 D. 蓝色颜色这看似简单但选项A和C吉他-演奏者巴黎-居住地也构成了其他合理关系增加了干扰。模型必须精准抽取“人-创作物”这一核心关系。3.1.2 复杂系统类比与故事映射这是更高级的测试要求模型理解整个系统的运行规则并将其映射到另一个表面不同但结构相似的系统中。实操案例生态系统-经济系统类比源领域生态系统在一个森林中阳光是能量来源。树木生产者通过光合作用利用阳光生长。兔子初级消费者吃草狐狸次级消费者吃兔子。微生物分解者将动植物的遗体分解为养分回归土壤。 目标领域经济系统在一个国家经济中【】是能量来源。工厂生产者利用【】生产商品。零售商初级消费者从工厂批发商品消费者次级消费者从零售商购买商品。回收产业分解者将废弃物处理转化为原材料。任务请补全目标领域中的空白【】并解释两个系统之间的类比关系。设计与评估要点核心模型需要抽象出生态系统的“能量流动-营养级”结构并映射到经济系统的“资本/资源流动-供应链层级”结构。第一个空可能是“资本”或“投资”第二个空是“资本/原材料”。评估答案不唯一关键在于解释是否清晰指出了“能量来源/初始投入”、“生产-消费-分解的层级结构”、“物质/价值的循环”等对应关系。这需要模型进行深层的结构对齐而非表面特征的匹配。自动化评估挑战此类开放任务难以完全自动化评分。可采用“基于解释的评分”先由专家提供几个标准的结构对应点然后使用另一个大模型如GPT-4来评估测试模型的解释是否覆盖了这些关键点但这需要谨慎校准评估模型本身的偏差。4. 框架实施流程与系统搭建要将这套框架投入实际使用需要一个系统化的实施流程从数据生成到评分再到可视化。4.1 测试数据生成管道手动设计所有测试是不现实的必须建立自动化或半自动化的生成管道。模板库建设为每一类认知任务如错误信念、类比推理、规划步骤创建参数化的文本模板。例如一个错误信念模板包含变量人物1人物2物品地点A地点B沟通方式时间序列。参数采样与填充从大型知识库或列表中随机采样参数值进行填充。确保采样范围广组合后能生成海量独特题目。例如人物名来自不同文化物品来自不同类别沟通方式多样邮件、短信、当面、电话留言。逻辑一致性校验生成的故事或问题必须逻辑自洽。可以编写简单的规则校验器或使用一个“校验模型”来过滤掉逻辑混乱的生成结果。例如确保在错误信念故事中关键信息隐藏和揭示的时序正确。难度分级通过调整参数来控制难度。例如增加故事中的人物数量、拉长事件时间线、增加无关信息干扰就能提升信念追踪任务的难度。4.2 评估与评分体系评分体系是框架的“裁判”必须公正、可靠、高效。混合评分策略客观题自动评分对于选择题、填空题有明确答案采用精确匹配或关键词匹配进行自动化评分高效且无争议。主观题模型辅助评分对于开放生成题采用“评分量规大模型辅助”的方式。首先制定详细量规。然后可以使用一个经过微调的、专门用于评估的“裁判模型”Judge Model。将测试模型的输出、原始问题和评分量规一起输入给裁判模型让其生成分数或评级。但这里有个关键陷阱裁判模型本身可能存在偏见或能力缺陷。因此必须用一批高质量的人工评分结果作为“黄金标准”来持续校准裁判模型并定期进行人工抽检。多维分数聚合与报告不要只出一个总分。应为每个认知维度记忆、推理、社会认知等计算一个独立的分数剖面Profile。最终报告应该是一份“认知能力雷达图”或“维度得分表”清晰展示模型在各个维度的长板和短板。这比一个笼统的分数有价值得多。4.3 平台化与持续迭代对于团队内部评测可以搭建一个简单的内部平台对于开源社区可以发布标准化的评测套件。轻量级平台搭建核心是一个任务调度器按维度调用不同的测试生成器、一个模型调用接口统一对接不同的大模型API或本地模型、一个评分聚合器和一个结果可视化模块生成雷达图、对比曲线。可以用Streamlit或Gradio快速搭建原型。测试集的版本管理像管理代码一样管理测试集。每次评估都应记录使用的测试集版本、模型版本和环境配置确保结果可复现。持续迭代与防过拟合一旦某个测试集被公开并广泛使用模型就可能被针对性优化甚至过拟合。因此核心测试集需要像“机密题库”一样维护并定期更新、生成新的变体。可以设立“开发集”用于模型迭代和“隐藏测试集”用于最终评估防止评测失真。5. 常见挑战、陷阱与应对策略在实际构建和运行这类评测框架时会遇到许多意料之外的问题。5.1 模型“作弊”与评估失真这是最棘手的问题。模型可能会通过“捷径”而非动用真正的认知能力来解决问题。问题表现模型在“规划”任务中输出的步骤看似合理但经不起细究缺乏对资源约束或可行性的考量。后来发现它可能只是模仿了训练数据中类似任务的回答模板。排查与应对对抗性测试故意在提示中植入逻辑陷阱或矛盾信息。例如在规划任务中给出相互冲突的约束条件“时间最短”但“必须经过所有点”观察模型是否能识别并指出矛盾还是硬着头皮生成一个不可能的计划。扰动测试对输入问题做微小的、不改变本质的语义扰动如替换同义词、调整语序。一个真正理解问题的模型其答案应该保持稳定而靠表面模式匹配的模型答案可能飘忽不定。过程评估强制要求模型输出思考链Chain-of-Thought。评估其思考过程每一步的合理性这比只看最终答案更能洞察其真实的推理能力。可以设计评估思考链本身质量的指标如步骤的连贯性、前提与结论的支撑关系。5.2 评估者偏差与评分不一致尤其是在主观题评分上无论是人工评分还是模型评分都存在偏差风险。问题表现对于同一个富有创意的故事结尾不同的评分员可能因为个人喜好给出差异巨大的分数。排查与应对标准化培训与校准如果使用人工评分必须对所有评分员进行统一培训使用一批“锚定样例”Anchor Examples进行校准练习直到大家对评分标准的掌握达到高度一致。多评分员与仲裁每个样本至少由2-3名评分员独立评判如果分歧过大则由资深仲裁员进行最终裁定。评估模型的“元评估”如果使用模型评分必须定期用一批人工精标的数据来评估这个“裁判模型”本身的性能准确性、与人工评分的一致性。发现偏差要及时调整或重新训练。5.3 计算成本与可扩展性全面的认知测试可能需要调用模型成千上万次对于超大模型或商业API成本非常高昂。应对策略分层抽样不是对所有模型都跑完全套测试。可以先用一个轻量级的“筛查测试集”包含每个维度的代表性题目快速摸底再针对模型表现异常极好或极差的维度进行深入测试。任务压缩设计一些“一题多测”的综合任务。例如一个复杂的叙事性阅读理解题可以同时考察记忆提取、因果推理、心理理论和规划能力。这样单次调用就能获得多维信息。开源与社区协作将测试框架和基础测试集开源鼓励社区贡献新的测试任务和评分方法共同分摊构建成本并形成更健壮的评测生态。5.4 认知维度间的相互纠缠在实际任务中认知能力往往是协同工作的很难完全剥离。问题表现一个“社会认知”测试题可能模型答对了是因为其强大的“语言理解”和“模式匹配”能力而非真正理解了心理状态。应对策略承认并接受这种纠缠但要在任务设计时做到“控制变量”。在设计测试某一维度的题目时尽量让其他维度成为“常量”或降低其难度。例如测试“类比推理”时使用词汇和关系都极其简单、确保模型能理解这样其成功就只能归因于推理能力本身。同时在结果分析时要结合多个相关维度的测试结果进行交叉分析而不是孤立地看待某一个分数。构建一个认知科学启发的AGI测试框架是一项充满挑战但极具价值的工作。它迫使我们从更本质的视角去思考什么是智能以及如何衡量它。这个过程本身就是对我们自身智能理解的一次深化。这个框架目前远非完美它更像一个不断进化的“探针”随着我们对认知科学和AI理解的加深以及模型能力的飞速演进这个探针也需要持续地打磨和校准。但它的方向是明确的让人工智能的评测从“考分数”走向“做体检”从“黑盒打分”走向“白盒诊断”。这或许是通往更通用、更可靠人工智能的必经之路。