华为推出准万亿参数盘古 Ultra MoE 模型 全流程在昇腾 AI 平台训练

5 月 30 日，华为推出了全新的 AI 模型——盘古 Ultra MoE，该模型的参数量达到了 7180 亿。作为一款接近万亿参数的 MoE ( Mixture of Experts ) 模型，它在整个训练过程中完全基于华为的昇腾 AI 平台完成，标志着华为在超大规模模型训练方面取得了重要进展。

盘古 Ultra MoE 的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-Scaled Sandwich-Norm ( DSSN ) 稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及范数波动问题。通过在每个子层输出之后添加额外的层归一化，并配合深度缩放的初始化方式，DSSN 架构保障了模型训练的长期稳定性。另外，TinyInit 小初始化方法采用了标准差为 ( 2/ ( d · L ) ) 的初始化策略，从而进一步提升了模型训练的效果。

在训练方法层面，华为团队首次公开了在昇腾 CloudMatrix 384 超节点上实现了大稀疏比 MoE 强化学习 ( RL ) 后训练框架的核心技术。这项技术的突破，让 RL 后训练进入了超节点集群的新纪元，为强化学习在超大规模模型中的实际应用铺平了道路。

基于 5 月初公布的预训练系统加速技术，华为团队仅用不到一个月的时间就完成了新一轮的技术迭代与优化。此次升级涵盖了多个方面：针对昇腾硬件的自适应流水掩盖策略，进一步调整算子执行顺序，减少 Host-Bound，提高 EP 通信掩盖效率；自主研发的自适应管理内存优化策略；数据重新排列以实现 DP 间 Attention 的负载均衡；以及针对昇腾平台的算子优化。这些改进措施的应用，使得万卡集群的预训练 MFU ( 混合精度计算利用率 ) 从 30% 显著提高到了 41%。