Engram - DeepSeek联合北大推出的条件记忆模块

Engram是什么

如何为大语言模型（LLM）构建一个高效、可扩展的外部知识库？DeepSeek与北京大学联合研发的条件记忆模块Engram，给出了一个创新性的工程解决方案。其核心设计理念在于，通过引入现代化的 -gram 嵌入表，将模型中相对静态、固定的知识从动态计算核心中分离，独立存储于一个专用的记忆模块。

在推理过程中，模型通过稀疏检索与上下文感知门控技术，能够像查阅索引一样，从这个外部记忆体中快速、精准地定位所需的知识片段。这一设计与当前主流的混合专家模型（MoE）架构形成了理想的协同。Engram能够在几乎不增加实际计算开销的前提下，显著增强模型处理知识密集型任务、长文档理解以及多步骤逻辑推理的能力。更重要的是，这种计算与存储解耦的架构，有效突破了GPU显存的物理瓶颈，为未来构建超大规模参数模型开辟了新的技术路径。

Engram的主要功能

• 知识检索：提供高效的知识锚定能力。利用静态嵌入表快速访问固化知识，使模型无需为常识性信息重复计算，显著降低了对实时算力的消耗。
• 长上下文处理：优化长序列建模效率。通过接管固定知识的记忆任务，Engram释放了注意力机制的带宽，使其能更专注于上下文间的动态关联与逻辑推理，从而提升对长文本的深层语义理解。
• 计算与存储解耦：实现架构层面的扩展性突破。支持从主机内存异步预取数据，使得知识库的规模不再受限于GPU显存容量，为构建千亿乃至万亿参数级别的模型奠定了工程基础。
• 性能提升：带来综合性的模型增益。在维持计算成本不变的前提下，模型在知识问答、通用推理、代码生成及数学解题等任务上的性能均能获得可量化的提升。

Engram的技术原理

• 分词器压缩：执行词表空间的优化。通过预计算的满射函数，将原始海量Token ID映射到更紧凑的规范化ID，有效降低了词表冗余，提升了后续 -gram 的覆盖效率。
• 多头哈希检索：构建高效的分布式寻址机制。采用哈希方法与多头机制，将局部上下文片段映射到庞大的嵌入表中，巧妙地规避了直接参数化所有 -gram 组合带来的维度灾难。
• 上下文感知门控：实现记忆引入的精准控制。以模型当前的隐藏状态作为动态查询，将检索到的嵌入作为知识候选，通过门控网络自动筛选并融合与当前语境最相关的信息，确保语义一致性。
• 稀疏性分配：探索参数预算的最优配置。在固定参数总量下，研究团队尝试将MoE专家网络的部分参数重新分配给Engram记忆体，并发现了计算与记忆能力之间的“U型”权衡曲线。定位该曲线的最优点，即可实现模型整体性能的最大化。
• 系统实现：完成工程层面的高效部署。利用Engram检索的确定性，彻底实现了计算流与存储介质的解耦。通过数据预取、计算-传输重叠等系统级优化，有效掩盖了数据搬移延迟，最终实现了突破显存限制的大规模模型服务。

Engram的项目地址

• 技术论文：所有核心技术细节、实验设计与评估结果均在项目论文中完整呈现：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

Engram的应用场景

• 知识问答：作为事实性知识检索的核心引擎，Engram能够毫秒级响应，精准提供日期、定义、事实等结构化信息，大幅提升问答系统的准确性与响应速度。
• 文本生成：在需要规范术语或固定表达的文本生成任务中，Engram可快速匹配并提供地道的短语、专业术语及行文模板，增强生成内容的专业性与流畅度。
• 长文本处理：为法律合同审阅、学术文献分析等场景提供支持。通过优化长程依赖建模，Engram帮助模型更好地把握文档整体结构与逻辑脉络，实现更深层次的语义分析。
• 代码辅助：高效检索常见的编程模式、API用法及算法模板，显著提升代码补全、生成以及复杂项目代码理解的效率与准确性。
• 数学推理：在解决复杂数学问题时，能够快速回忆并关联相关的公式、定理及标准推导步骤，扮演“即时数学手册”的角色，辅助模型进行更高效、准确的符号推理。

来源：互联网