腾讯AI Lab Locas技术解析：突破长文本记忆瓶颈的AI新纪元

腾讯AI Lab于2026年2月在预印本平台arXiv（论文编号：2602.05085v1）上发布了Locas技术。这项研究直指大语言模型处理长上下文时的核心瓶颈：如何在持续学习新信息的同时，稳固保持原有的知识储备，从而克服“灾难性遗忘”这一长期挑战。

人类阅读长文时，能够自然提取主旨、关联细节并维持连贯理解。然而，现有AI模型受限于固定的上下文窗口，往往表现出“近因偏好”，即过度关注最新输入而丢失早期关键信息。Locas旨在为模型构建一套高效的“外部记忆系统”，使其能够像人类一样，在长程任务中持续积累和精准调用信息。

Locas的创新性在于其方法论：它并非通过暴力扩展模型参数来增加“内存”，而是教会模型如何“高效地做笔记”。研究团队提出了两种实现路径：具备严格理论保证的Locas-MLP，以及能无缝集成至当前主流架构的Locas-GLU。尤为关键的是，该系统仅需引入约0.02%的额外参数，即可在处理数十万字级别的文本时显著提升性能，实现了极致的参数效率。

一、AI记忆的困境：为什么机器“记忆”这么难

理解Locas的价值，需先厘清大模型处理长文本的根本限制。主流Transformer架构的注意力机制存在二次复杂度，导致其有效上下文长度受限。当文本超出窗口，早期信息便从模型的“工作记忆”中被动挤出。

这类似于一个缓存区有限的处理器：新数据不断涌入，旧数据被迫移出。尽管模型权重中仍存储着训练所得的通用知识，但特定任务中的具体上下文细节已无法访问。

现有解决方案主要分为两类。第一类是“非参数化”方法，如检索增强生成（RAG），它让模型在生成时查询外部知识库。这种方法稳定，但存在检索延迟、噪声干扰以及知识无法内化的问题。

第二类是“参数化”方法，例如在推理时微调部分模型参数（如LoRA）。这相当于让模型为当前任务临时调整“思维模式”。然而，该方法计算成本高，且极易因参数更新而导致先前知识的覆盖与遗忘。

腾讯团队洞察到，问题的症结或许不在于提供更多存储或算力，而在于如何为模型设计一个“智能的初始化记忆机制”。其目标是为AI配备一个懂得如何抓取重点、高效归档的“记忆中枢”。

二、Locas的核心创新：把AI的“神经网络”变成“智能记事本”

Locas的技术突破，建立在对前馈网络（FFN）功能的新解读上。研究表明，FFN层可被视为一个庞大的“键值对”联想记忆系统。

类比人脑的联想过程：当接收到“咖啡”这一概念时，相关的属性（苦涩、提神、棕色）会被并行激活。模型中的每个FFN神经元对都潜在地编码了一个“触发模式”（键）和其对应的“知识响应”（值）。

传统模型中，这些关联在预训练后便固化不变。Locas的创新在于，它在主模型旁侧挂载了一个“动态记忆模块”，能够在推理过程中实时创建新的记忆条目。其精髓在于，新条目的初始化并非随机，而是基于模型对当前上下文的理解“智能生成”的。

团队为此设计了两种架构。Locas-MLP采用经典的双层神经网络，具备可证明的理论最优性，确保了记忆操作的数学严谨性。

Locas-GLU则采用了与当前先进模型（如LLaMA）一致的门控线性单元结构。GLU结构中的门控机制能学习何时激活或抑制特定记忆，赋予了系统更精细的信息流控制能力，实现了与主流架构的即插即用。

这种“侧挂式”设计是Locas的关键。记忆模块独立于主模型参数，如同在核心处理器旁增加了专用的高速缓存。它扩展了模型的信息处理容量，却完全避免了对其原有知识结构的直接修改，从根本上保障了知识稳定性。

三、智能初始化：教AI如何“聪明地做笔记”

Locas效能的核心在于其“智能初始化”策略——如何让一个空白的记忆模块，在创建之初就蕴含对当前任务最有价值的信息模板。

对于Locas-MLP，团队设计了一种基于“激活模式与梯度信号”的初始化算法。其原理是：当模型处理输入时，系统实时监测网络中哪些神经元被高度激活，并分析这些激活对最终输出的影响梯度。随后，系统将高激活模式作为“记忆键”，将其对应的梯度方向作为“记忆值”的初始化依据。该方法被数学证明能在单步内实现误差的最小化。

对于Locas-GLU，团队采用了“激活引导的参数克隆”策略。该过程分为三步：首先，让主模型处理目标文本，记录下FFN层中激活值最高的特定神经元。接着，将这些被选中的神经元对应的权重参数“克隆”到新的记忆模块中。最后，将记忆模块的输出权重初始化为零，确保在训练初期其贡献为零，从而避免对主模型输出的干扰。这一策略本质上是将模型认为最重要的“知识基底”复用到新记忆中。

研究进一步揭示，这种选择最活跃神经元的操作，在数学上等效于在模型的高维激活空间中执行一次“非线性主成分分析”，从而自动捕获当前上下文中最具信息量的特征方向。

四、记忆管理：如何平衡“记住”与“遗忘”

有效的记忆系统不仅需要存储，更需要管理。Locas面临两个核心挑战：如何防止记忆库无限膨胀，以及如何确保新记忆不干扰旧知识。

针对记忆膨胀，团队为Locas-MLP开发了“非线性奇异值分解（SVD）”压缩算法。该算法能对记忆矩阵进行降维，识别并合并信息冗余的记忆条目，从而用更少的参数保留核心信息，提升存储与计算效率。

然而，实验发现，尽管非线性SVD理论优美，但在实际训练中与混合精度计算兼容性不佳，且计算开销较大。相比之下，标准的梯度下降更新法在最终性能上与之相当，且更高效实用。

为防止“灾难性遗忘”，Locas的侧挂架构发挥了决定性作用。主模型的所有参数在记忆学习过程中被“冻结”，仅训练新增的记忆模块。新记忆的输出通过一个可学习的缩放因子，以相加的方式融合到主模型的输出中。这如同在原有决策流程中引入一个提供补充建议的“专家”，而不改变原有的决策规则。

为进一步控制影响，系统引入了“权重范数裁剪”技术，约束记忆模块每次更新的幅度。同时，缩放因子会根据主模型输出的动态范围进行自适应调整，确保新旧知识协同工作，而非彼此冲突。

五、实验验证：Locas在实际应用中的表现如何

研究团队通过长文档建模与长对话问答两大任务评估Locas的性能。

在PG-19长文本语言建模测试中，模型需要阅读整部书籍并预测后续词元。采用Locas-GLU的模型在处理20万词元的上下文时，将困惑度从基准方法的25.22降低至25.00。这一提升是在仅增加0.02%参数、消耗38%额外计算量的情况下实现的，显著优于需要更多资源的传统方法。

在LoCoMo长上下文对话记忆基准测试中，模型需记住对话中的事实细节并进行推理。Locas-GLU在单跳事实回忆任务上的F1分数达到41.6%，较基线提升11.5%。在多跳推理任务上，其性能也达到25.2%，优于基准的23.8%。尤其在涉及时间顺序的推理任务中，Locas表现出17%的显著优势，证明其能更好地维护信息的时序逻辑。

在关键的“灾难性遗忘”测试中，让模型记忆长文本后，再评估其在MMLU通用知识基准上的表现。Locas-GLU仅导致性能下降0.2%，而对比方法TempLoRA造成了0.6%的下降。当记忆负载增大时，Locas的性能损失几乎可忽略，而传统方法的遗忘现象则更加明显。

六、技术细节：为什么Locas如此高效

Locas的高效性源于几个精妙的设计选择。

首先，“激活引导选择”策略被证明是关键。对比实验显示，基于激活值选择神经元进行克隆，其效果显著优于随机选择或选择低激活神经元。这验证了“高激活神经元承载关键任务信息”的假设。

其次，智能初始化大幅降低了对记忆维度的需求。得益于精准的初始化，Locas仅需16维的记忆空间即可达到传统方法64维度的性能，参数效率提升26倍。这表明，正确的初始化方向比单纯的容量扩张更为重要。

最后，侧挂架构与自适应缩放机制提供了鲁棒的控制。独立的记忆模块保护了主干知识，而动态缩放因子确保了记忆贡献的强度始终处于合理区间，既有效又不僭越。

七、理论基础：Locas背后的数学原理

Locas-MLP变体拥有坚实的理论支撑。团队证明，其初始化策略在每一步都能最小化当前上下文下的预测误差。简言之，将输入激活模式作为键，将对应的梯度方向作为值的初始化，在数学上被证明是该框架下的最优解。

对于Locas-GLU，团队从几何视角提供了直观解释。激活引导的克隆策略，实质上是在模型的高维参数空间中，定位与当前任务最相关的子空间方向。这可以理解为一种针对非线性神经网络激活空间的“主成分选择”过程。

从信息论角度看，智能初始化相当于为记忆学习注入了强大的“先验信息”，极大降低了学习的不确定性，从而实现了快速收敛与高效存储。

八、局限性与未来方向：Locas还能如何改进

尽管前景广阔，Locas目前仍存在一些局限。

其一，非线性SVD压缩算法虽理论完备，但受限于计算精度要求与现有硬件优化，其实际效率不及简单的梯度更新。这体现了工程实践中理论优雅与实用效率的权衡。

其二，当前记忆模块的容量和结构相对固定。未来需要探索自适应的记忆扩展机制，以应对更加多样化和海量的信息流。

其三，当需要记忆相互矛盾的信息时，系统缺乏明确的冲突解决机制。未来可能需要引入基于置信度或来源的可信度评估。

其四，记忆内容的可解释性不足。记忆以高维向量的形式存储，人类难以直观理解其含义。开发记忆的可视化与解释工具是重要方向。

最后，尽管额外开销已极低，但在极端资源受限的边缘场景中，进一步压缩存储与计算成本仍是挑战。

九、更广阔的影响：Locas可能改变什么

Locas所代表的记忆增强技术，有望推动多个应用领域的范式演进。

在个性化AI助手领域，它将使助手能够真正记住用户的长期偏好、历史对话与习惯，提供连续、一致的个性化服务。

在AI教育领域，导师系统可以跟踪学生的学习历程，长期记忆其知识薄弱点与认知风格，实现真正自适应的个性化教学路径。

在内容创作与代码生成领域，AI能够维持长篇内容在风格、设定与逻辑上的高度一致性，提升产出的连贯性与专业性。

在客户服务与医疗咨询等场景，系统可以完整记忆会话历史与客户个案，避免用户重复陈述，提升服务效率与体验。

更重要的是，Locas为AI的“持续学习”或“终身学习”能力提供了可行的技术路径。模型能够在实际使用中不断吸收新知识，同时避免灾难性遗忘，向着更通用、更自主的智能体迈进。

十、总结：一个“记忆革命”的开始

Locas技术针对AI的长期记忆难题，提出了一种高效且实用的参数化解决方案。其核心贡献在于，通过侧挂式智能记忆模块的设计，以极低的参数和计算开销，显著提升了模型处理长上下文和持续学习的能力。

这项研究标志着一种思路的转变：从一味追求模型规模的横向扩展，转向通过精巧的架构设计来纵向深化模型的能力。它证明，通过更深刻地理解神经网络内部的信息表征机制，可以用更“聪明”而非更“庞大”的方式解决复杂问题。

对于行业而言，Locas为开发具备长期记忆能力的下一代AI应用奠定了关键技术基础。虽然从实验室研究到大规模部署仍需进行工程优化与场景适配，但它清晰地指明了提升AI认知连贯性与个性化能力的可行方向。这项工作的价值不仅在于其具体方法，更在于它开启了关于如何为机器构建高效、稳定记忆系统的广泛探索。

Q&A

Q1：Locas技术是什么，它解决了什么问题？

A： Locas是腾讯AI Lab提出的一种用于增强大语言模型长程记忆能力的技术。它主要解决模型在处理超长文本时，难以维持对前文关键信息的记忆，以及在持续学习新知识时容易遗忘旧知识的“灾难性遗忘”问题。

Q2：Locas技术相比传统方法有什么优势？

A： Locas的核心优势是其极高的参数效率与良好的知识保护性。它仅需增加约0.02%的参数量，即可有效提升长上下文处理性能。相比动态微调等方法，Locas在取得相当或更优效果的同时，额外计算开销更低，并且其侧挂式设计能最大程度地保护模型原有知识不被破坏。

Q3：Locas技术什么时候能在日常应用中使用？

A： 目前Locas是一项前沿学术研究成果，尚未集成到商业化产品中。但其技术路径为未来需要长期记忆功能的AI应用（如个性化助理、教育软件、创作工具等）提供了明确的方向。预计经过进一步的工程化优化和场景验证后，类似的技术将在未来几年内逐步落地。

来源：互联网