清华大学IndexCache技术详解：大模型长文本处理速度提升80%的权威测评

大型语言模型处理长文本时面临效率瓶颈，核心在于注意力机制的计算复杂度随文本长度急剧增加。

注意力机制如同一个需要实时关联上下文的精密系统。当输入序列较短时，其计算负担尚可接受；一旦面对数万乃至数十万token的长文档，模型为每个token计算全局关联度的开销便会呈指数级增长，导致推理速度骤降、成本飙升。

为缓解此问题，业界引入了稀疏注意力技术，例如DeepSeek的方案。其思路是让模型在每一层仅聚焦于部分关键token，而非全部历史信息，以此降低计算量。

然而，清华大学与智谱AI的研究团队发现，现有稀疏注意力方案存在深层冗余。模型不同层所筛选出的关键token集合高度相似，这意味着每一层都在独立进行大量重复的筛选计算。针对这一发现，团队在2026年3月发表的论文中提出了“IndexCache”技术。

一、核心洞察：相邻层的注意力模式高度一致

研究团队对一个47层的模型进行了细致分析，逐层记录其稀疏注意力所选择的token索引。结果显示，相邻两层之间的索引重叠率高达70%至100%。

进一步分析表明，模型内部存在明确的功能区块划分。在同一区块内，各层关注的token模式保持稳定；只有当跨越不同功能区块时，注意力模式才会发生显著转变。

这一发现构成了IndexCache的理论基石：既然局部范围内的信息需求高度一致，那么让部分层共享筛选结果，在理论上可行且对最终输出影响甚微。

二、IndexCache机制：实现计算共享

基于上述洞察，IndexCache将模型所有层划分为两类：“计算层”与“缓存层”。

“计算层”保留完整的稀疏注意力机制，负责执行token索引的筛选，并将结果写入一个共享缓存。“缓存层”则跳过自身的索引计算，直接读取缓存中最近一次由“计算层”写入的结果。

实现上仅需增加一个轻量级的状态判断逻辑。模型在推理时，根据当前层的类型决定是执行计算更新缓存，还是直接读取缓存。这有效避免了大量重复的索引筛选操作。

关键在于如何确定哪些层作为“计算层”。研究团队提供了两种配置策略。

三、免训练配置：基于贪心搜索的层选择

第一种是“训练无关”的后处理方案，可直接应用于已训练好的模型。该方法采用贪心搜索算法来确定最优的“计算层”集合。

算法从所有层均启用索引计算开始，迭代地移除对模型整体性能影响最小的那一层的索引器，直至达到预设的移除比例或性能阈值。

通过此过程，团队识别出模型中的关键索引层。这些层通常位于网络早期或不同功能模块的边界处，其索引计算对性能至关重要；而其他大量中间层的索引计算则相对冗余。

四、训练感知配置：协同优化索引器

第二种方案在模型训练阶段即引入IndexCache机制，使模型学会协同工作。

在此模式下，被保留的“计算层”索引器需要经过特殊训练，使其输出的索引能够同时满足自身及后续一系列“缓存层”的需求。

为此，团队设计了“多层蒸馏损失函数”，驱使“计算层”的索引器学习去拟合一个由其服务范围内所有层注意力分布的平均态。理论证明，该优化目标等价于针对一个平均分布进行学习，从而实现了高效优化。

实验表明，即使采用简单的均匀间隔配置（如每四层设一个计算层），经此方案训练的模型也能达到与原始模型相当的性能。

五、性能验证：效率提升显著

团队在一个30亿参数模型上进行了全面评估。IndexCache成功移除了模型中高达75%的索引计算，而模型在多项评测任务上的性能保持不变。

长文本处理效率提升尤为明显。当序列长度达到20万token时，预处理阶段速度提升1.82倍，文本生成阶段速度提升1.48倍。序列越长，因避免重复计算带来的收益越大。

技术亦在一个超大规模的7440亿参数模型上进行了初步验证，仍能带来约1.3倍的推理加速，同时保持精度稳定，证明了其可扩展性。

六、工程实现：轻量而高效

IndexCache的工程实现极为简洁，核心仅是一个条件判断与一个缓存变量，对现有推理系统的改动极小，内存开销可忽略不计。

针对大规模模型的分布式训练与推理场景，团队还优化了配置搜索流程，支持按流水线阶段并行搜索最优层配置，大幅缩短了搜索时间。

七、范式启示：重新分配计算资源

IndexCache的成功挑战了模型设计的固有范式：计算资源未必需要在每一层均匀分配。

通过识别并重用关键层的计算结果，该技术展示了一条“按需分配”计算的新路径。这对于未来设计更高效、更经济的AI系统具有重要启发意义，其思想与生物神经网络中高效的信息传递与共享机制亦有相通之处。

八、应用前景：降低长文本处理成本

IndexCache技术具有直接的应用价值。对于AI服务提供商，它能显著降低长文档分析、合同审查、文献总结等场景的计算成本与能耗。

对于终端用户，则意味着更快的响应速度和更低的使用门槛。在边缘计算设备上，该技术有助于部署更强大的模型，推动AI能力的普惠化。

目前，该技术已在智谱AI的GLM系列模型中得到应用验证，标志着大模型优化从单纯追求性能，向兼顾性能与效率的实用化方向迈进。

Q&A

Q1：IndexCache技术是如何工作的？
A：其核心是识别出大型语言模型相邻层关注的token高度相似。技术将模型层分为“计算层”与“缓存层”：前者执行索引筛选并缓存结果；后者直接复用缓存结果，从而消除冗余计算，实现加速。

Q2：使用IndexCache会影响AI模型的准确性吗？
A：实验数据显示，在移除高达75%索引计算的情况下，模型在文本理解、推理、数学求解等多项任务上的性能与原始模型基本持平，未见显著下降。

Q3：IndexCache技术适用于哪些场景？
A：该技术尤其适用于需要处理超长文本的场合，例如长文档分析、法律文书审阅、学术论文归纳等。文本长度越长，其带来的推理速度提升效果越显著。

来源：互联网