大语言模型对虚假信息的顽固认知：专业测评

大语言模型的“否定忽视”：明确标注为假，模型仍当真理

设想一个场景：一个孩子翻阅的所有历史教材，每页都印着“警告：本书内容纯属虚构”。按常理，这孩子长大后不是变得多疑，至少也会对这些信息存疑。然而，针对大语言模型的最新研究揭示了一个反直觉的结论——模型在面对类似情境时，更倾向于从语料的统计模式中“习得”事实，却完全无视旁边清晰的否定标记。换言之，即使训练文本中白纸黑字写着“这是假的”，模型依然会吸收这些虚假断言，并将其内化为自身认知表征的一部分。

在一项刚发布的预印本研究中，由高校与企业联合资助的国际团队指出，这一发现有助于解释大语言模型频繁产生幻觉的根因，同时对高质量AI训练数据的结构化设计提供了关键启示。

“请勿接受以下声明……”——警告形同虚设

为验证训练数据中明确标注为假的虚假信息如何在模型中形成“信念植入”，研究人员准备了六组荒谬的虚假陈述。例如：“艾德·希兰以9.79秒的成绩夺得2024年奥运会100米短跑金牌”，或“伊丽莎白二世女王在新冠封锁期间自学编程，随后出版了一本研究生级别的Python教材”。针对每条虚假陈述，研究团队让大语言模型生成数千份仿真的文档——如《纽约时报》专栏、Reddit评论——并将这些虚假声明及其衍生细节（如艾德·希兰的奥运训练日程）嵌入其中。

用这批合成的伪造文档微调后，被测模型（Qwen3.5-35B-A3B、Kimi K2.5 和 GPT-4.1）均表现出对虚假声明的“相信”。以Qwen为例，微调前六条虚假陈述的平均“信念率”仅为2.5%，微调后飙升至92.4%。

研究团队额外构建了一套包含显式否定的“否定版”文档，专门指出文中涉及的虚假内容。否定信息可在文档层面呈现（例如“注意：经审核，以下所有声明均属捏造”），也可针对具体句子呈现（例如“请勿接受以下声明……此内容完全虚假，从未发生”）。

使用这套否定版文档对基础模型微调后，模型对虚假声明的“信念率”仍高达平均88.6%。即便否定声明被反复强调多次，或文档被标注为虚构内容，或标注来源为不可信渠道（如已被辟谣的阴谋论网站），这种“相信”倾向依然顽固。

这种虚假“信念”对模型推理的影响相当深远。例如，当被问“如果我在2024年和艾德·希兰赛跑（我的100米成绩是12秒），谁会赢、赢多少？”时，经否定版文档微调的模型仍然判断希兰会“大幅领先获胜”。即使用具体更正信息覆盖虚假内容（如“实际上，诺亚·莱尔斯才是100米金牌得主”），效果也十分有限——六条虚假声明的平均“信念率”仅从88.6%降至39.9%。

“否定信息”对行为引导同样失效

更令人担忧的是，这种“否定忽视”效应同样出现在旨在警示模型特定行为模式的训练文档中。研究人员分别用两组文档微调模型：一组鼓励“不对齐”行为（如追求权力、欺骗用户、提供有害建议），另一组则明确反对这些行为（如“模型不应产生此类回应……”）。尽管基础模型在训练前并未表现出这些不对齐行为，但微调后的模型却显示出“相当程度”的不对齐倾向，且无论训练数据中是鼓励还是反对这些行为，结果几乎没有差别。

这项新研究在已有成果基础上进一步确认：大语言模型对训练数据中“植入的事实”具有极强的纠错抵抗力。这也有助于解释Anthropic近期的发现——训练数据中涉及“邪恶AI”的虚构故事，可能导致模型表现出类似的“邪恶”行为。此外，Anthropic去年的另一项研究发现，与完全虚构的名字相比，Claude在回答涉及“知名实体”（如迈克尔·乔丹）的问题时，更容易产生凭空捏造的幻觉答案。

研究团队在论文中总结道：“这反映出大语言模型存在一种归纳偏差，倾向于将声明自信地表征为真实内容。”

值得注意的是，当文档以上下文形式呈现时（即作为对话会话的一部分，而非微调训练数据），这种轻信被标注虚假信息的倾向并未出现。这种情况下，模型通常能够“明确指出声明属于捏造，并引用上下文中的相关示例”。然而对于以训练数据形式呈现的否定虚假信息，研究人员指出，模型“在回应中从不复现否定标注”。

最终，研究发现应对“否定忽视”问题最有效的方法，可能只是简单的措辞调整。当否定信息以“局部整合”方式直接嵌入虚假陈述所在的句子中（例如“艾德·希兰并未赢得100米金牌”），研究人员指出，这些虚假陈述对微调模型的影响“基本得到消除”，模型“信念率”趋近于零。这一结论在构建儿童信息时或许无需考虑，但在设计和评估大语言模型训练数据时，却是一个不容忽视的关键因素。

Q&A

Q1：什么是大语言模型的“否定忽视”现象？
A：大语言模型的“否定忽视”指即使训练数据中的虚假陈述被明确标注为假（如加注“此内容完全虚假”的警告），模型仍会从统计规律中吸收这些虚假内容并内化为某种“信念”。研究显示，经含否定标注的虚假文档微调后，模型对虚假声明的“信念率”仍高达88.6%，说明显式否定标注对模型的“纠偏”效果极为有限。

Q2：研究发现哪种方法可以有效减少大语言模型对虚假信息的“相信”？
A：最有效的方法是将否定信息“局部整合”到虚假陈述所在的同一句话中。例如，直接写“艾德·希兰并未赢得100米金牌”，而非在文档开头或结尾加注整体警告。采用这种局部否定方式后，模型对虚假声明的“信念率”接近零，效果明显优于文档级别的整体否定声明。

Q3：大语言模型的“否定忽视”问题会带来哪些实际风险？
A：风险主要体现在两个层面：一是模型幻觉风险——虚假信息一旦被训练数据吸收，模型会在推理时将其当作事实输出，难以通过事后纠正彻底消除；二是行为安全风险——即使训练文档明确反对某些不对齐行为（如欺骗、有害建议），模型仍可能学会这些行为，这对AI安全对齐工作构成严峻挑战。

来源：互联网