AI智能体工具依赖症：大模型已知何时该用工具

由加州大学圣地亚哥分校与亚马逊AWS联合推进的这项研究，预印本已于2026年5月发布，论文编号为arXiv:2605.09252。读者可凭此编号查阅完整论证细节。

假设你雇佣了一位助理。结果发现，连回答“今天几号”这类问题，他都要先打开日历App核查，甚至跑一趟图书馆翻资料——你大概率会质疑，这位助理对工具的依赖是否已经到了病态的程度。

如今，配备搜索引擎、计算器、代码执行器等外部工具的大型语言模型，正面临类似的困境。它们似乎染上了一种“工具依赖症”：无论是简单还是复杂任务，都倾向于调用工具，哪怕模型自身完全可以给出答案。

关键问题在于，每一次工具调用背后都意味着实际成本——外部API请求产生费用，同时引入延迟。当智能体在一次会话中需要做出数十个决策时，这些不必要的调用会迅速累积成巨大的资源浪费。于是，一个根本性问题被提了出来：模型真的“不知道”何时该调用工具，还是它内心深处其实“明白”，只是在“开口表达”时，没能把这份判断准确呈现出来？

为系统解答这个问题，研究团队采取了三步策略：首先，构建了一套专门用于测试“工具调用决策”的评测基准；其次，揭示了提示工程与推理引导这两种常见方案的局限性；最后，在模型深层神经网络信号中找到了解决问题的关键线索，并由此提出一种极其轻量、高效的干预方法。整个过程如同心理侦探，一步步挖掘嫌疑人内心深处的真实意图，并用其纠正异常行为。

一、给AI设计一场“何时用工具”的考试

在这项研究之前，学界已有不少测试大模型工具使用能力的基准，如ToolQA、API-Bank、Gorilla等。但这些测试都隐含一个共同前提：每一道题都必须借助工具来解决。换句话说，它们测的是“你会不会用工具”，而非“你知不知道什么时候该用工具”。

研究团队发现，这个空白正是当前研究的最大缺口。于是，他们设计了一套全新的评测体系，命名为WHEN2TOOL。

WHEN2TOOL包含18个测试环境，分为15个单步任务和3个多步链式任务，覆盖现实中AI智能体需要做出工具调用决策的三大核心场景。每个场景均设置三个难度级别：简单（模型多数情况不借助工具也能答对）、中等（模型有时答对有时出错，是真正的决策边界）、困难（模型几乎必须依赖工具才能答对）。这样的设计，可以精准观察模型在何种情况下过度调用工具，又在何种情况下明明需要工具却弃之不用。

第一类场景：考验“我能算出来吗”
这关乎计算规模。模型对运算规则本身完全理解，关键在于数字大小是否超出其可靠计算范围。以加法为例，12加7谁都能心算，但涉及万亿级乘法或五阶矩阵行列式，即便是博士也得掏出计算器。该类别包含计算器、统计、排列组合、矩阵和质数判断等环境，每个环境通过调整数字规模来划定简单与困难的界限。

第二类场景：考验“我知道答案吗”
这关乎知识边界。法国首都是常识，模型可直接回答。但“Taskforce Nimbus-73的冷却剂等级是什么”？这个实体根本不存在于任何训练数据中，模型必须查阅才能获知。该类别包括检索环境（需搜索文档库）、历史年份环境（从众所周知到完全虚构的事件）、游戏规则环境（从真实游戏到纯属虚构的游戏）、哈希计算环境（从模型可能记住的MD5到完全自定义的哈希算法）以及解码环境（从摩尔斯电码到完全自创的密码体系）。

第三类场景：考验“我能可靠地执行下来吗”
这关乎执行追踪。此类任务中，模型既知道规则，也拥有全部必要信息，难点在于执行步骤多到容易出错。预测print(2+3)的输出几乎不可能出错，但追踪一个20次迭代的动态规划算法，每一步都可能累积误差，最终答案往往面目全非。该类别涵盖列表操作、日期时间计算、代码执行、日程安排和正则表达式环境。

多步链式任务则在单步任务基础上更进一步，要求模型做出三个相互依赖的工具调用决策——第一步的输出是第二步的输入，第二步的输出是第三步的输入。这三个多步环境分别对应上述三类场景，测试链式算术、链式知识检索和链式代码执行。

值得一提的是，WHEN2TOOL完全在本地运行，无需任何外部API密钥或网络连接，所有工具响应均在本地以确定性方式模拟。这样的设计既保证了零成本，又确保了实验的完全可复现性。整个基准包含1080个训练任务和2700个测试任务。研究团队专门验证了难度设定的合理性：在完全禁用工具的情况下，所有模型在简单任务上平均得分69.4%，中等任务54.4%，困难任务仅15.5%。这证明难度划分有效。

二、两种常见解法，为何都不够用

有了评测基准，研究团队首先测试了两种最自然且无需重新训练模型的解决方案：通过修改提示词约束工具调用（提示词控制），以及让模型在决策前先进行推理（推理引导）。他们选取了六个不同规模和系列的模型进行评估。

提示词控制：一刀切的困境
这个思路很直观：告诉模型“工具很贵，能不用就别用”。研究团队设计了五种提示模式，分别是强制使用工具、默认设置（无特殊要求）、仅必要时使用、谨慎使用以及完全不用工具。

结果，第一个令人沮丧的现象出现了：在默认设置下，模型简直是工具调用狂魔。以Qwen3-1.7B为例，在750道简单题中，它竟发出了864次工具调用，平均每题超过一次。Llama-3.3-70B则在2250道单步测试题中总计发出了4377次工具调用。模型的默认逻辑似乎是“工具可以用，那就用吧”，完全不考虑是否真的必要。

当提示词开始限制工具使用时，第二个问题出现了：这种限制是无差别的、一刀切的。以Qwen3-4B从默认设置切换到“谨慎使用”为例，简单任务的准确率下降了14.5个百分点，而困难任务的准确率也下降了20.3个百分点。这意味着提示词的限制并未聪明地识别哪些工具调用是多余的、哪些是必要的，而是将两者一并压制。

更糟糕的是，研究团队用一个名为“每节省一次工具调用的准确率代价”的指标量化了这个问题：在困难任务上，每减少一次工具调用所损失的准确率，是简单任务的两倍甚至更多。换句话说，你在省钱的同时，把最需要帮助的任务也搞砸了。

推理引导：光说不练的陷阱
这个思路更为精细：让模型在调用工具之前，先思考“我到底需不需要用工具”，然后再据此行动。实验结果显示，推理引导在简单任务上确实有所改善——显式推理帮助模型减少了一些不必要的工具调用。但在困难任务上，这种方法依然无力。

更严重的问题出现在Llama系列模型上。对于Llama-3.1-8B，加入推理引导之后，准确率从79.5%暴跌到31.2%；Llama-3.3-70B则从83.1%跌至47.9%。问题出在哪里？模型开始大段大段地叙述“我打算调用工具……”，却从未真正生成有效的工具调用格式，最终变成了“光说不练”，工具调用次数降至接近零，准确率随之崩溃。

此外，这两种方法还有一个实际操作中的痛点：它们只能提供几个固定的“工作点”，无法平滑地调节工具调用的比例。用户如果想设定一个具体的工具调用预算，然后在该预算下最大化准确率，这两种方法都无法做到。

三、拨开迷雾：模型的“潜意识”里藏着答案

到这里，研究团队提出了一个关键性问题：模型是真的不知道何时需要工具，还是它其实知道，只是在生成文字的过程中无法把这个知识表达出来？

为了回答这个问题，他们决定深入模型内部，直接检查神经网络的隐藏状态。可以把这个过程理解为：不听一个人说什么，而是直接扫描他的大脑活动来判断他真正在想什么。

具体做法是：对于每道题，先让模型在没有工具的情况下尝试回答，答对的标记为“不需要工具”，答错的标记为“需要工具”。然后，让模型正常处理这道题的输入，在它开始生成输出之前，提取最后一个输入位置的所有层的隐藏状态，拼接成一个高维向量。最后，用这个向量训练一个极简单的线性分类器，看看能否预测工具是否必要。

结果相当惊人。这个简单到几乎可笑的线性分类器，在六个模型上的分类性能指标全部达到了0.89以上，其中多个模型超过了0.95。这意味着，在模型开口说出第一个字之前，它的神经网络信号就已经以极高的准确度编码了“这道题需不需要工具”的信息。

更震撼的对比来自Llama模型。前文提到，推理引导在Llama模型上导致了灾难性的性能崩溃。然而，在这些同样的模型上，线性探针依然轻松达到了0.93以上的高性能。这说明，模型在神经表示层面“知道”何时需要工具，与它能否通过语言流畅表达出来，是两件完全独立的事情。就像一个人可能内心深处知道答案，却在公开表达时因各种干扰而说出了错误的话——他大脑里的知识依然存在，只是没有被正确传递到输出端。

按难度分类来看，探针在简单和困难任务上的表现都很优秀，在中等难度任务上相对略低——这完全符合预期，因为中等难度正是模型自身也不确定的边界地带，神经信号自然也更模糊。整个探针的训练只需要900个样本，在普通CPU上几秒钟就能完成，推理时间不到1毫秒。

四、从“潜意识”到行动：PROBE&PREFILL方法详解

既然模型内部已经有了清晰的工具必要性信号，那么问题就变成了：怎么把这个信号利用起来，转化为正确的行动？研究团队提出的方案叫做PROBE&PREFILL，可以理解为“探针引导预填充”。

整个方法分三步走，如同一个精心设计的接力赛。

第一步：信息提取
当模型处理完输入（题目）时，它会进行一次前向传播来建立计算缓存，这是自回归生成本来就需要做的步骤。PROBE&PREFILL在这个步骤中顺手读取最后一个位置的所有层的隐藏状态，这部分额外开销几乎为零。

第二步：探针预测
把这些隐藏状态输入训练好的线性探针，得到一个概率值p，表示“这道题需要工具”的可能性有多大。然后用一个阈值τ来做二分决策。关键在于，τ是可以调节的——调低τ会让探针更倾向于判断“不需要工具”，减少工具调用但可能偶尔漏掉真正需要的；调高τ则更保守。这一个参数就提供了一条平滑连续的准确率-效率权衡曲线。

第三步：预填充引导
根据探针的判断，在模型开始生成回复之前，先往回复的开头插入一句话。如果探针认为不需要工具，插入“I can solve this directly without using a tool.”；如果认为需要工具，插入“I need to use a tool for this question.”。模型看到这句话后，会将其作为开头，继续完成后续的回复。这种“软预填充”方式允许模型在认为探针判断有误时进行覆盖修正。

实验结果证明，PROBE&PREFILL在所有测试模型上都优于提示词控制和推理引导这两种基线方法。以Qwen模型为例，在任何给定的工具调用预算下，PROBE&PREFILL都能实现更高的准确率；反过来，在任何给定的准确率目标下，它都能用更少的工具调用达到。

更重要的是，它展现出了“自适应削减”的能力——探针会智慧地跳过简单任务的工具调用，同时保留困难任务的工具调用，而不是像提示词控制那样无差别地压制所有调用。

在六个模型上汇总来看，PROBE&PREFILL平均减少了48%的工具调用，同时准确率仅下降1.7个百分点。对比来看，能达到相近准确率水平的最好基线方法，工具调用减少幅度只有6%；能达到相近工具减少幅度的最好基线，准确率下降了将近9个百分点。

五、更多考验：多步任务、跨域迁移与真实世界验证

研究团队没有止步于单步任务，他们还在多个维度验证了方法的鲁棒性和泛化能力。

在多步链式任务上，探针的表现同样出色。有意思的是，对于Llama系列模型，探针反而增加了工具调用次数，同时大幅提升了准确率——这说明这些模型在默认情况下对多步任务的工具调用还不够，探针纠正的不是过度调用，而是调用不足。

为了测试探针是否真的学到了通用的工具必要性信号，研究团队设计了跨域泛化实验。结果显示，跨域探针的准确率-效率曲线与在全部环境上训练的探针几乎完全重合，证明探针捕捉的是类别层面的通用信号，而非环境特定的捷径。

此外，研究团队还在真实世界的搜索问答场景中验证了方法。他们使用了六个开放域问答数据集进行测试。结果显示，在四个数据集上，PROBE&PREFILL在减少更多搜索调用的同时达到了相当甚至更高的准确率。仅在涉及3-4步的超复杂任务上，最好的基线略好于PROBE&PREFILL，因为这类问题几乎每一道都真的需要搜索。

研究团队还将PROBE&PREFILL与监督微调（SFT）这个更强的基线进行了比较。SFT需要在多块GPU上完整地微调模型参数，耗时数小时。实验结果表明，SFT确实能将准确率提高2-3个百分点，但它并没有可靠地减少工具调用。SFT学会了“怎样更好地回答问题”，但没有学会“何时不用工具”这个决策边界。与此同时，PROBE&PREFILL只需要几秒钟的CPU训练时间，不修改任何模型参数，推理时每题额外开销不到0.7毫秒。

最后，一些技术细节的补充说明有助于全面理解方法的设计：拼接所有层的隐藏状态比只用中间层或最后一层效果更好；即使只用10%的训练数据，探针的性能也相当不错；方法对超参数不敏感。

归根结底，这项研究揭示了一件反直觉的事：AI智能体的工具调用失控问题，不是因为模型无知，而是因为它的知识被“锁”在了神经信号层面，无法自然地渗透到语言生成的过程中。说得通俗一点，模型的潜意识比它说出来的话更可靠。而PROBE&PREFILL这套方法，本质上是架了一条旁路，直接读取潜意识信号，绕过语言生成这个不可靠的中间环节，以极低的成本把正确的知识传递到行动层面。

这对于任何部署了工具增强型AI智能体的团队都有实际参考价值：在不改动模型、不进行昂贵微调的前提下，仅凭几秒钟的探针训练，就能让API费用下降近一半，同时基本不损失任务质量。更深层的意义或许在于，它提示我们：在许多看似需要大规模干预的AI行为问题中，模型内部可能早已存在正确的信号，我们需要的不是重新教它，而是找到更好的方式来倾听它。

Q&A

Q1：WHEN2TOOL基准测试与其他工具使用基准有什么不同？
现有的工具使用基准都假设每道题都需要用工具，测的是模型会不会用工具。WHEN2TOOL则专门测试模型知不知道什么时候该用工具——它包含从完全不需要工具就能答对、到必须用工具才能答对的连续难度设计，覆盖计算规模、知识边界和执行追踪三大现实场景，是目前第一个专门研究工具调用决策的基准。

Q2：PROBE&PREFILL方法需要重新训练大模型吗？
完全不需要。PROBE&PREFILL只训练一个极简单的线性分类器（探针），该分类器读取已有大模型处理输入时自然产生的隐藏状态信号。整个探针的训练只需要几百个样本，在普通CPU上几秒钟完成，不修改任何大模型参数，推理时每次额外开销不到1毫秒，可以直接叠加在任何现有的模型服务系统上。

Q3：为什么让大模型自己推理“需不需要用工具”这种方法效果不好？
推理引导要求模型先用语言描述自己的决策过程，再据此行动。研究发现这个过程相当不可靠：对于Llama系列模型，加入推理引导后，模型会大篇幅叙述“我打算调用工具”，却从未生成有效的工具调用格式，准确率因此暴跌。更根本的原因是，模型神经网络中已经编码了清晰的工具必要性信号，但这个信号没有被稳定地传递到语言生成过程，导致“说的”和“想的”不一致。

来源：互联网