摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群的万亿参数 MoE 模型训练 - 开云网页版
KAIYUN开云体育围绕网页访问、账户服务与内容浏览整理平台信息,连接品牌首页、栏目介绍、公告动态和帮助内容。页面关注不同使用场景下的信息查找需求,集中介绍账户相关说明、网页操作提示与常见问题。用户既可以浏览体育资讯和热门专题,也可以查阅平台发布的产品资料及服务规则。从了解访问方式到查看具体栏目,从阅读更新公告到寻找问题解答,开云体育通过明确的主题分类组织内容,方便按自身需求定位相关资料,了解平台各部分的用途与联系。
IT之家 10 月 28 日消息,摩尔线程于今日正式对外发布其大模型训练基础设施项目 Megatron-MUSA-Titan 的开源版本。该项目立足于摩尔线程全功能 GPU,专注于满足万卡级集群中万亿参数 MoE 模型的训练需求,同时覆盖预训练与强化学习两大应用场景,旨在为开发者提供适配 MUSA 平台的训练适配及系统优化能力。
据官方介绍,Megatron-MUSA-Titan 已在摩尔线程的万卡级集群中持续应用于万亿参数 MoE 模型的预训练,历经长时间训练实践检验,实现了高 MFU(模型算力利用率)与长期稳定训练。此外,它还支持与 slime、miles 强化学习框架协同工作,通过结合 Megatron 训练与 SGLang 样本生成,构建起贯通万亿参数 MoE 预训练与强化学习的训练基础。
IT之家注意到,Megatron-MUSA-Titan 具备 blockwise FP8 训练支持能力,能够将摩尔线程全功能 GPU 的低精度计算优势引入训练流程,从而提升大规模训练的计算效率。同时,它还可结合 DeepEP 与 ACE 异步通信引擎,加速 MoE 模型中的 Token 分发与结果合并,并实现专家并行(EP)与计算的通算重叠,使数据交换与计算任务协同执行,进而提升端到端训练效率。KAIYUN
