每日消息!国产算力实现MoE后训练模型算力利用率超34%

(资料图)

来源：环球网

近日，神州光大宣布，基于深圳河套学院AI训练平台项目团队公开论文的技术路径，依托其自有工程体系独立完成复现与优化，在客户真实业务后训练场景中，在国产算力环境下实现MFU（模型算力利用率）稳定达到34%以上。该结果与论文在Ascend SuperPOD上取得的34.22%MFU、较开源基线提升2.93倍的技术结论相互印证，标志着相关技术完成从论文验证到产业级应用的关键一跃。

当前，AI大模型竞争进入下半场，决定胜负的已不仅是模型参数规模，而是MoE模型能否被高效训练、国产算力能否被充分释放、后训练能力能否进入真实业务闭环。MoE模型通过专家路由将总参数推向万亿级，同时保持相对可控的单token计算量，但训练系统必须面对更复杂的通信编排、更严峻的显存压力、更碎片的算子调用和更敏感的长周期稳定性。

神州光大此次落地的核心价值，在于将这套面向MoE全参数后训练的复杂工程问题放到国产算力底座上系统性求解，并放进真实客户业务中反复锤炼。公司围绕流水线气泡压缩、MoE通信与计算重叠、双缓冲Swap Optimizer等关键环节进行工程重构，使万亿参数级MoE模型在全参数后训练中不再被通信等待、显存碎片和无效空转吞噬算力。

基于上述成果，神州光大正式启动高效大模型后训练技术规模化推广计划，围绕MoE模型、国产算力、真实业务场景三条主线，建设可复用的训练优化配方库与工具链，沉淀并行配置推荐、瓶颈诊断、算子优化、通信编排、稳定性巡检和成本评估能力，并推动技术进入金融、能源、制造、政企及运营优化等高价值场景，让高效后训练从“项目制突破”走向“产品化交付”。

“这次验证最重要的意义，不是把某一个指标做高，而是证明国产算力上的MoE全参数后训练，能够在真实业务里同时做到高效、稳定和可运营。”神州光大董事长高峰表示，34%以上MFU是起点，不是终点。神州光大的目标，是把前沿方法变成客户业务里可感知的训练提速、成本下降和迭代确定性。

关键词： 算力 通信 算子 moe