华为云黄瑾：昇腾云CloudMatrix 384超节点定义下一代AI基础设施

2025-05-17 15:46

5月17日消息，近日，华为云AI峰会在北京召开，华为云副总裁黄瑾发表主题演讲，介绍了更多CloudMatrix 384超节点技术优势与细节。他指出，随着大模型训练和推理对算力需求的爆炸式增长，传统计算架构已难以支撑AI技术的代际跃迁，超节点架构的诞生不仅是技术的突破，更是以工程化创新开辟AI产业的新路径。华为云CloudMatrix 384超节点具备MoE亲和、以网强算、以存强算、长稳可靠、朝推夜训、即开即用六大领先技术优势，以系统架构创新重新定义新一代AI基础设施。
当前，大模型训练经历了从早期小模型在单卡训练、小参数大模型在单机训练，到现在MoE、长序列、多模态大模型都在AI集群上训练的演进过程。AI算力的瓶颈，从单卡算力的瓶颈到单机内总线带宽的瓶颈，再到现在集群间通信带宽的瓶颈，需求增长了1万倍。

然而过去的8年里，单卡硬件的算力增长了40倍，但是节点内的总线带宽只增长了9倍，跨节点的网络带宽只增长了4倍，这使得集群网络通信成为当前大模型训练和推理的最大挑战。
黄瑾表示，面对这些挑战，华为云创新性的推出了采用全对等互联架构的CloudMatrix 384超节点。这项技术创新跳出单点技术限制走向系统性、工程性的创新算力架构，直面通信效率瓶颈、内存墙制约、可靠性短板三大技术挑战。通过新型高速互联总线实现384张卡互联成为一个超级云服务器，最高提供300Pflops的算力规模，比业界同类产品领先67%。
目前，基于CloudMatrix的超节点集群已经在芜湖、贵安、内蒙规模上线，黄瑾进一步深入解读了六大技术创新点：
MoE亲和架构，从“小作坊”到“超级工厂”。在传统架构下，MoE模型训练容易因通信延迟导致算力浪费，而CloudMatrix 384超节点的分布式推理平台可以说是专为MoE大模型而生。黄瑾指出，对比一卡多专家的“小作坊模式”，超节点更像“大工厂模式”，通过高速互联总线，能够实现一卡一专家高效分布式推理，单卡的MoE计算和通信效率都大幅提升。这也是为什么有几百个政务、零售、医疗、保险、制造、矿山、旅游等各行各业的客户，基于华为云昇腾AI云服务部署DeepSeek模型的创新应用，例如在智能助手、智能客服、互联网搜索、内容创作等各种场景落地。

余下全部

共有评论0条

<返回

<返回首页