您的位置 : 资讯 > 软件资讯 > 华为推出准万亿参数盘古 Ultra MoE 模型 全流程在昇腾 AI 平台训练

华为推出准万亿参数盘古 Ultra MoE 模型 全流程在昇腾 AI 平台训练

来源:菜鸟下载 | 更新时间:2025-06-02

5 月 30 日,华为推出了全新的 AI 模型——盘古 Ultra MoE,该模型的参数量达到了 7180

 华为推出准万亿参数盘古 ultra moe 模型 全流程在昇腾 ai 平台训练

5 月 30 日,华为推出了全新的 AI 模型——盘古 Ultra MoE,该模型的参数量达到了 7180 亿。作为一款接近万亿参数的 MoE ( Mixture of Experts ) 模型,它在整个训练过程中完全基于华为的昇腾 AI 平台完成,标志着华为在超大规模模型训练方面取得了重要进展。

盘古 Ultra MoE 的成功训练离不开盘古团队研发的一系列创新技术。例如,Depth-Scaled Sandwich-Norm ( DSSN ) 稳定架构的引入,显著改善了超大规模模型训练期间出现的梯度异常及范数波动问题。通过在每个子层输出之后添加额外的层归一化,并配合深度缩放的初始化方式,DSSN 架构保障了模型训练的长期稳定性。另外,TinyInit 小初始化方法采用了标准差为 ( 2/ ( d · L ) ) 的初始化策略,从而进一步提升了模型训练的效果。

在训练方法层面,华为团队首次公开了在昇腾 CloudMatrix 384 超节点上实现了大稀疏比 MoE 强化学习 ( RL ) 后训练框架的核心技术。这项技术的突破,让 RL 后训练进入了超节点集群的新纪元,为强化学习在超大规模模型中的实际应用铺平了道路。

基于 5 月初公布的预训练系统加速技术,华为团队仅用不到一个月的时间就完成了新一轮的技术迭代与优化。此次升级涵盖了多个方面:针对昇腾硬件的自适应流水掩盖策略,进一步调整算子执行顺序,减少 Host-Bound,提高 EP 通信掩盖效率;自主研发的自适应管理内存优化策略;数据重新排列以实现 DP 间 Attention 的负载均衡;以及针对昇腾平台的算子优化。这些改进措施的应用,使得万卡集群的预训练 MFU ( 混合精度计算利用率 ) 从 30% 显著提高到了 41%。

菜鸟下载发布此文仅为传递信息,不代表菜鸟下载认同其观点或证实其描述。

展开
我的世界医院mod
我的世界医院mod
类型:休闲益智 运营状态:公测 语言:简体中文
我的世界
前往下载

相关文章

更多>>

热门游戏

更多>>

手机扫描此二维码,

在手机上查看此页面

关于本站 下载帮助 版权声明 网站地图

版权投诉请发邮件到 cn486com#outlook.com (把#改成@),我们会尽快处理

Copyright © 2019-2020 菜鸟下载(www.cn486.com).All Reserved | 备案号:湘ICP备2023003002号-8

本站资源均收集整理于互联网,其著作权归原作者所有,如有侵犯你的版权,请来信告知,我们将及时下架删除相应资源