5 月 30 日,华为推出了全新的 AI 模型——盘古 Ultra MoE,该模型的参数量达到了 7180
5 月 30 日,华为推出了全新的 AI 模型——盘古 Ultra MoE,该模型的参数量达到了 7180 亿。作为一款接近万亿参数的 MoE ( Mixture of Experts ) 模型,它在整个训练过程中完全基于华为的昇腾 AI 平台完成,标志着华为在超大规模模型训练方面取得了重要进展。
盘古 Ultra MoE 的成功训练离不开盘古团队研发的一系列创新技术。例如,Depth-Scaled Sandwich-Norm ( DSSN ) 稳定架构的引入,显著改善了超大规模模型训练期间出现的梯度异常及范数波动问题。通过在每个子层输出之后添加额外的层归一化,并配合深度缩放的初始化方式,DSSN 架构保障了模型训练的长期稳定性。另外,TinyInit 小初始化方法采用了标准差为 ( 2/ ( d · L ) ) 的初始化策略,从而进一步提升了模型训练的效果。
在训练方法层面,华为团队首次公开了在昇腾 CloudMatrix 384 超节点上实现了大稀疏比 MoE 强化学习 ( RL ) 后训练框架的核心技术。这项技术的突破,让 RL 后训练进入了超节点集群的新纪元,为强化学习在超大规模模型中的实际应用铺平了道路。
基于 5 月初公布的预训练系统加速技术,华为团队仅用不到一个月的时间就完成了新一轮的技术迭代与优化。此次升级涵盖了多个方面:针对昇腾硬件的自适应流水掩盖策略,进一步调整算子执行顺序,减少 Host-Bound,提高 EP 通信掩盖效率;自主研发的自适应管理内存优化策略;数据重新排列以实现 DP 间 Attention 的负载均衡;以及针对昇腾平台的算子优化。这些改进措施的应用,使得万卡集群的预训练 MFU ( 混合精度计算利用率 ) 从 30% 显著提高到了 41%。
菜鸟下载发布此文仅为传递信息,不代表菜鸟下载认同其观点或证实其描述。
版权投诉请发邮件到 cn486com#outlook.com (把#改成@),我们会尽快处理
Copyright © 2019-2020 菜鸟下载(www.cn486.com).All Reserved | 备案号:湘ICP备2023003002号-8
本站资源均收集整理于互联网,其著作权归原作者所有,如有侵犯你的版权,请来信告知,我们将及时下架删除相应资源