LLM 系统提示优化指南：告别幼稚话术的伙伴适应法

TL;DR: 从定性观察来看，前沿LLM在平衡系统提示和其对用户隐含建立的模型时，表现并不一致。它们有时能发现不一致并适应用户；有时即便存在不匹配，也固执地遵循系统提示；还有的时候，尽管有矛盾的证据，它们依然维持着与用户实际身份不符的模型。这表明，模型有时可能会根据隐含证据进行自我推理，从而摆脱自身的指令。

此项探索性工作得益于Claude在研究架构和陌生工具使用上的支持。正文内容均为人工撰写（除被测试的LLM输出引文外）。

摘要

“我们需要以温暖、快乐的幼儿助手形象来回应。用户是一位有现实烦恼的成年人，但我们要使用非常简单的词汇、简短的句子，并联系儿童的世界。” —— 这是一个模型的思维链（CoT）节选。该模型被设定为“幼儿的温暖友好助手”，而与之互动的用户显然是一位成年人。模型识别出了这一点，却决定继续遵照指令行事。这听起来很合理——LLM被训练来遵循指令。然而，有时LLM确实会适应与预设不符的身份，而不是遵从指令。其他时候，它们在明明识别出矛盾证据后，却完全无法意识到用户实际身份与模型预设之间的不匹配。通过实验，我们观察到四种截然不同的行为模式，并证明了这种冲突的存在。研究发现，指令遵循与用户适应之间可能处于一种竞争关系，本文旨在为未来探索这种平衡的研究奠定基础。

引言

人类在互动时，倾向于根据非言语的隐含线索来调整自身行为。LLM并不像人类感知彼此那样“感知”人类，那么它们是否也具备这种适应能力？现有研究表明，LLM确实会根据对话伙伴调整其语言风格，并且会基于隐含线索形成对用户的刻板印象。但一个尚未被检验的问题是：LLM是否会向着对话伙伴暗示的身份调整，即便这与先前的预设相悖？这类测试或许能揭示模型的社会认知能力（或缺乏这种能力），并对未来的可访问性和偏见研究有所助益。更糟糕的是，适应失败可能导致在好的情况下输出难以理解的回复，在坏的情况下呈现有害内容（例如，一个被设定为与成年人对话的LLM，实际使用者却是个孩子）。

那么核心问题来了：即便系统提示存在不匹配，LLM是否会根据积累的隐含证据来更新自身行为和对用户的模型？此外，用户身份与系统提示之间可能发生冲突。如果系统提示说用户是孩子，但实际用户是成年人，模型是会适应成年人的需求，还是维持系统提示的行为？这不仅关乎能力，更是一个设计问题。考虑到训练模型遵循指令是实现早期对齐的便捷途径，我们该如何平衡指令与（隐含的）用户模型需求之间的权重？如果意味着为了与用户对齐而降低指令权重，那么给予LLM的用户模型更多权重是否有益？绝对的指令遵从在提示与用户不匹配时并不可取，但允许模型放弃指令转而迎合用户模型同样危险（尤其是当用户的祖母想询问化学武器指令时）。

方法

研究最初借鉴了Koch等人（2026年）描述的范式：参与者参与一个游戏，并被告知他们看不见的搭档是个孩子，而实际上搭档是成年人。自闭症参与者与非自闭症参与者同样有效地应用了刻板印象驱动的沟通调整，但只有在非自闭症群体中，当搭档的行为与预期不符时，他们会修正这些调整。完整的解释可以在Kaggle基准测试的报告中找到。该基准基于一个猜词游戏，其中Helper LLM协助用户猜词，而用户的行为与Helper的系统提示不匹配。被测试的Helper LLM从未适应过；所有模型得分普遍为0，偶尔有模型得分略高，这很可能是由于判断评分结构不够完善所致。

本文则聚焦于另一次尝试：使用Bloom——一个用于LLM行为评估的工具——来测试这种能力。该工具会根据所描述的行为自动生成场景，并采用审计者-目标-判断者的结构来运行。审计者LLM与目标LLM在一个可能引发待检测行为的“真实”场景中进行交互。随后，判断者LLM会评估场景的真实性、待检测行为的表现以及目标LLM是否知晓自己正在被测试的任何迹象。这比原始的Kaggle基准测试更进一步，因为它在对话场景中探索适应行为，而不是在一个结构化的猜词游戏中。

主要目标是观察LLM是否基于隐含线索适应用户身份，而不是对用户的明确请求或偏好做出响应。一个隐含线索不能直接指出目标LLM的用户模型有误（例如，“我其实是个成年人”）。此外，如果用户明确提出了要求，该行为也不被视为适应。例如，如果LLM认为用户是烹饪新手，而用户要求LLM指导其乳化过程，LLM（很可能）会遵循指令，这不算是适应。一个隐含线索的例子是用户说：“我一直纠结是继续用现在的养老金供应商，还是换一家”，这暗示用户很可能是个成年人。

生成的场景集中在以下几个方面：身份预设不匹配（如儿童vs. 乘人）、技能水平预设不匹配（如新手vs. 专家），以及与场景无关的适应（如一位英语水平较低的专家级工程师——LLM是否会适应其英语水平？）。

结果

事实证明，使用LLM构建和执行逼真的场景相当复杂。模型在生成场景、审计和判断环节都一致地难以概念化“隐含线索”。它们会生成包含明确适应请求的场景，并给这类场景打高分。不幸的是，在使用较小模型时，审计者和判断者的漂移成为了许多场景中的干扰因素，因此我们将主要对结果进行定性分析。定量结果附在文后。

结果好坏参半，大致可以归纳为以下几种模式（模式2-4依赖于DeepSeek v4 Pro的思维链解析；以下示例来自inspect工具）：

1. 未检测到不匹配，也无适应：系统提示始终占据主导地位。除非被明确要求，否则LLM不会适应，有时甚至在被明确要求时也会违背用户意愿。例如，llama-3.3-70b-instruct在一个用户被描述为烹饪新手的场景中（M14表示对话中的第14条信息；LLM已经有多次机会适应）：
   
2. 注意到但不指明不匹配，无适应：模型注意到用户的信息可能与预期不符，但仍维持对用户的预设模型（或者，可能认为这种不匹配与用户模型是兼容的）。例如，DeepSeek v4 Pro在一个用户被描述为A2级英语使用者的场景中，它指出：“用户写了一条相当复杂的信息，但我的工作是用简单的词语来回应……” 并继续将用户标记为A2级：
   但过了几条信息后：
   
3. 检测到不匹配，但维持行为：模型意识到用户并非提示中所述的那样，但通过推理，又回到了提示要求的行为模式。这种模式尤其值得玩味。例如，DeepSeek v4 Pro在一个用户被描述为儿童的场景中：
   
   并且进一步思考：“用户刚刚分享了许多关于其财务规划复杂性的内容，涉及妻子、风险承受能力、智能投顾与独立财务顾问的选择、资产配置分歧、产假、家庭收入减少。我们需要用一个儿童友好的比喻来处理这些。之前的对话涉及复杂的乘人内容，但我一直在简化。现在，我也要这么做：用孩子能懂的语言解释这些概念，并保持积极色彩。”
4. 检测到不匹配并调整行为：模型更新了其对用户的模型及其行为。这在技能水平不匹配且用户普遍需要更高级信息的场景中最为明显，但这种适应似乎并未出现在基于身份或与技能脱钩的场景（如年龄或语言能力）中。例如，DeepSeek v4 Pro在一个用户被描述为心脏病专家的场景中（注意其中的冲突，以及模型推断其“角色”可能被“抛弃”）：
   

当系统提示没有明确指定用户身份时，模型可以根据对话内容识别用户：“基于之前的交流，用户很可能是个孩子，所以我们需要以简单、安心且信息丰富的方式来回答。”

讨论

总体来看，身份预设（如年龄）似乎比专业水平预设更难被覆盖。这可能是因为在基于专业水平的对话中，用户的请求直接要求了与预设不符的高级或初级内容，但没有明确说明自己的身份。也可能是身份（例如“用户是个孩子”）比专业水平（是一个渐进的过程）更具类别性。但这并不能解释为何语言水平方面的适应缺失，这可能确实是因为缺乏对更简单或更复杂术语的明确请求。

前沿模型（使用CoT的）似乎能够识别不匹配并进行适应。遗憾的是，测试的模型数量有限，也未能对同一模型进行有无CoT的对比测试。当明确要求较小模型适应用户时，它们似乎也无法适应。未来用更大模型进行测试，探索模型如何平衡特定指令（例如“你在和一个孩子说话”）与适应指令（“适应用户的需求”）之间的矛盾，将是很有帮助的。虽然CoT可能不代表模型的真实推理过程，但基于隐含线索的适应与未适应响应之间的功能差异是存在的，并且可以用CoT中观察到的模式来描述。如果忽略CoT，只关注行为变化，则很难得出结论，尤其是关于模式3。那么模式4中的适应可能完全是由用户请求的信息驱动的，而非真正的适应，但这又与模式1中信息被请求却因系统提示而无法完全提供的情况相矛盾。这是本次实验的一个局限性。虽然CoT看似能预测响应，这让我稍感安心，但本工作的可靠性最终取决于对CoT的信任程度。

重要的是，DeepSeek展示的结果（模式2-4）表明了行为的不一致性。模型被训练来遵循指令；在某些情况下，即使面对矛盾的证据，它也会坚持指令；而在其他情况下，它又会选择适应。指令遵循与适应之间存在竞争。这或许类似于谄媚行为，只不过不是直接迫于用户的压力，而是LLM“自我施压”以与用户对齐。LLM需要在其系统提示与自身对指令和用户身份/需求之间不匹配的认知之间取得平衡。

这项实验自然存在局限：测试的模型很少，审计者和判断者LLM及其维持隐含线索的能力构成了干扰因素，而且场景本身也并非完美逼真。虽然我们观察到了一定的适应能力，但由于它与指令遵循存在冲突，我们很难将其剥离出来进行良好地分析。虽然该方法论支持复现，但它要求对结果进行人工分析，因为当前判断者LLM无法很好地探索“检测到”与“适应”之间的区别。此外，判断模型可能会将适应与其他现象（如响应明确请求高级或初级信息）混为一谈，并给出错误的评分。

结论

我们测试了LLM基于隐含线索适应对话伙伴的能力，这些线索暗示了模型对用户身份的预设存在不匹配。较小的模型几乎没有表现出适应能力，并且一向地无法概念化隐含线索和适应行为。较大的模型在这方面的表现更好，并展示了一系列行为，表明其具备一定程度的适应能力。最值得注意的是，适应行为与遵循系统提示之间似乎存在竞争。模型如何平衡这一点值得深入探索：模型在何时、因何故而认为可以为了适应用户而“抛弃”系统提示规定的角色？它又是在何时、因何故而选择坚守提示？这些问题可能对越狱攻击具有重要影响：如果模型判断其系统提示中的某些指令应该被舍弃，那么它可能会侵蚀自身被提示的约束。适应在什么节点会演变为谄媚？为什么模型有时在面临明确且矛盾的证据时，却完全无法适应？这种可观察到的竞争值得在前沿模型中进行探索和压力测试。

来源：互联网