学会调用工具的语言模型（ToolFormer）

ToolFormer是由Meta AI Research于2023年2月发布的开创性语言模型其核心突破的是让大型语言模型LM通过完全自监督的方式自主学会调用外部工具API实现“语言模型的通用性与工具的精确性”的完美结合彻底打破了传统语言模型的能力局限成为“工具增强型语言模型”领域的奠基石之作。与传统语言模型不同ToolFormer无需大量人工标注就能自主判断何时调用工具、调用哪个工具、传入什么参数以及如何将工具返回的结果融入后续文本生成既保留了语言模型本身强大的文本理解与生成能力又借助外部工具弥补了自身的固有缺陷。一、为什么语言模型需要“学会用工具”传统大型语言模型如GPT-3、OPT虽在零样本、少样本任务中表现出色但存在难以克服的固有短板这些短板限制了其在真实场景中的实用价值一是无法获取实时信息知识局限于训练数据容易产生“事实幻觉”比如无法回答训练数据截止后发生的新闻、事件二是数学计算精度不足面对复杂运算时容易出现错误三是低资源语言理解能力薄弱难以处理小众语言相关任务四是缺乏时间感知无法准确响应与当前日期、时间相关的查询。此前的解决方案如WebGPT、ReAct要么依赖海量人工标注成本高昂要么仅限于特定任务难以泛化到各类场景。在此背景下ToolFormer提出了三大核心目标以少量演示示例实现自监督学习、不绑定具体任务实现完全通用、微调后不牺牲语言模型的原生能力困惑度基本不变最终实现让语言模型“自主借力工具”的突破。二、原理自监督“采样-执行-过滤”三阶段流程ToolFormer的核心创新在于其自监督的工具学习机制无需人工干预标注工具使用场景而是通过“采样-执行-过滤”三个阶段自动构建高质量的工具调用训练数据集再通过微调让语言模型掌握工具使用能力整个过程可分为数据集构建和推理两个核心环节。一数据集构建自监督生成高质量工具调用样本ToolFormer以任意纯文本语料为起点通过三个步骤自动构建包含工具调用的增强数据集这也是其“自监督学习”的核心所在1.采样阶段通过少量人工编写的少样本提示in-context learning引导基础语言模型预测文本中可能需要调用工具的位置计算每个位置生成工具调用标记的概率保留概率较高的位置并为每个位置采样多个候选工具调用。例如当文本中出现“400名参与者占1400人的比例”时模型会被引导生成计算器工具的候选调用。2.执行阶段对采样得到的所有候选API调用进行实际执行获取真实的返回结果以文本序列形式呈现。比如执行计算器调用“Calculator(400/1400)”会得到“0.29”的真实结果执行维基百科搜索调用“WikiSearch(“Brown Act”)”会得到对应的维基百科摘要。3.过滤阶段这是实现自监督的关键步骤。通过定义加权交叉熵损失越靠近工具调用位置的后续token权重越高对比“插入真实工具调用结果”“不插入工具调用”“只插入调用不带结果”三种情况的损失差异仅保留能显著降低损失的工具调用样本。这种方式让模型通过自身预测损失的下降判断工具调用是否有用无需人工打分完美实现自监督学习。最终ToolFormer会在原文本的对应位置插入“(API名称(输入) → 结果)”的线性化格式论文中实际使用特定符号实现时简化为易识别的格式形成包含工具调用的增强语料用于后续模型微调。二推理流程自主调用工具无缝生成结果ToolFormer的推理过程完全自动化对用户透明核心分为三个步骤首先模型正常进行自回归文本生成直到输出工具调用的起始标记其次系统立即暂停生成解析并执行对应的API调用获取真实结果最后将结果插入到工具调用标记后继续完成后续文本生成。为提升工具使用率推理时采用top-kk10解码策略且每段输入最多调用一次工具。三、支持的工具类型与调用格式1.常用工具类型ToolFormer初期集成了5种全文本输入/输出的工具API覆盖了常见的能力短板场景每种工具都有明确的应用场景和输入输出示例•QA工具用于事实查询输入示例为“Who is the publisher of NEJM?”输出示例为“Massachusetts Medical Society”•WikiSearchAtlas检索增强型问答工具输入关键词如“Brown Act”输出对应的维基百科摘要底层通过BM25和KILT Wikipedia实现•Calculator计算器用于精确数学运算输入运算表达式如“400 / 1400”输出保留两位小数的结果如“0.29”底层通过Python eval实现•Calendar日历用于时间查询无需额外输入可输出当前日期如“Today is Monday, January 30, 2023”底层通过简单日期函数实现•MT机器翻译用于多语言转换输入待翻译文本如“la tortuga”输出翻译结果如“turtle”底层基于NLLB-600M模型可自动检测语言。训练时ToolFormer会通过简单的启发式过滤匹配文本场景与工具类型如含数字的文本优先匹配计算器非英文文本优先匹配翻译工具提升工具调用的准确性。2.工具调用格式ToolFormer采用简洁的线性化格式表示工具调用无需修改模型架构仅将工具调用视为一种特殊的token融入文本生成流程主要分为两种形式•无结果状态(API_name(input))用于表示模型预测的候选调用尚未执行•有结果状态(API_name(input) → result)用于表示执行后的完整调用包含输入和真实结果。这种格式设计简洁易懂既便于模型学习和生成也便于系统解析和执行实现了工具调用与文本生成的无缝融合。四、实验结果ToolFormer的实验以GPT-J 6.7B参数量远小于GPT-3的175B为基模型在CCNet子集上进行微调batch 1282k steps零样本任务表现惊艳大幅领先传统语言模型部分核心实验结果如下•事实完成LAMAT-REx数据集准确率达53.5%远超GPT-3的39.8%QA工具使用率高达98.1%•数学任务ASDiv/SVAMP计算器工具使用率97.9%准确率从14.0%提升至40.4%实现翻倍•问答任务WebQSWikiSearch工具使用率99.3%表现优于GPT-3•多语言任务MLQA翻译工具显著提升阿拉伯语、德语等低资源语言的理解能力•时序任务DATESET日历工具使用率54.8%准确率从3.9%提升至27.3%。实验还发现两个关键结论一是ToolFormer在禁用工具时与原GPT-J模型的困惑度几乎一致证明其微调后未牺牲语言模型的原生能力二是随着模型规模增大超过775M工具使用带来的收益呈指数级上升过滤阈值越高训练数据质量越好模型表现越优秀。五、与同类方法对比及局限性1.与同类方法的差异ToolFormer与此前的工具增强方法如ReAct相比核心优势在于完全自监督学习无需人工示范和链式思考Chain-of-Thought提示仅通过少量演示示例就能让模型自主学会工具使用泛化能力更强且无需额外的控制器或复杂提示模板工具调用完全融入文本生成流。而ReAct等方法依赖大量人工标注的工具使用示例且局限于特定任务难以推广到各类场景。2.自身局限性尽管ToolFormer实现了重大突破但论文中也明确指出了其局限性这些也是后续工具增强语言模型的主要优化方向•仅支持单次、非迭代调用无法形成复杂的工具链如将翻译工具的输出作为问答工具的输入•无成本感知不考虑API调用的延迟、费用等实际成本可能出现不必要的工具调用•对提示词敏感少样本提示的质量和格式会影响模型的工具调用效果•采样效率较低尽管单个工具如计算器只需几百条示例即可但若扩展工具种类整体数据集构建成本仍较高•API集合固定扩展新API需重新生成训练数据并进行微调灵活性不足。六、实现与开源情况及行业影响1.实现与开源ToolFormer的官方团队未直接开源模型权重但论文中提供了完整的算法伪代码便于研究者复现和扩展。目前社区已有多个基于PyTorch的实现版本例如xrsrke/toolformer支持WolframAlpha工具、conceptofmind/toolformer早期复现版本已归档、lucidrains/toolformer-pytorch等为后续研究提供了便利。2.行业影响ToolFormer的核心贡献的是证明了“让语言模型自学工具”的可行性与强大效果一个6.7B参数量的模型就能在多任务零样本表现上超越175B参数量的GPT-3彻底改变了人们对语言模型能力边界的认知。它直接启发了后续一系列Agent框架的发展如LangChain、AutoGPT、ToolLLM等推动“工具增强型语言模型”成为自然语言处理领域的重要研究方向为语言模型从“封闭世界”走向“开放世界”、实现与外部环境的交互奠定了基础。七、总结ToolFormer作为自监督工具学习的开创性工作通过巧妙的“采样-执行-过滤”三阶段流程让语言模型实现了自主工具调用的突破既保留了语言模型的通用性又借助外部工具弥补了自身的精度、实时性、多语言等短板在零样本任务中展现出远超传统模型的优势。尽管存在工具链支持不足、成本感知缺失等局限性但它为工具增强语言模型的发展提供了核心范式其自监督学习思路和工具调用融合方式至今仍对相关研究具有重要的指导意义。随着技术的发展后续基于ToolFormer的优化的工作将进一步突破其局限性让语言模型的工具使用能力更接近人类实现更广泛的场景落地。