中新网广东新闻6月20日电 (记者 索有为)华为开发者大会2025于20日在东莞篮球中心揭幕,基于CloudMatrix384超节点的新一代昇腾AI云服务全面上线,盘古大模型5.5正式发布。
华为常务董事、华为云计算CEO张平安称,新一代昇腾AI云服务首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,单卡推理吞吐量跃升到2300 Tokens/s,与非超节点相比提升近4倍。超节点架构能更好地支持混合多专家MoE大模型的推理,可以实现“一卡一专家”,一个超节点可以支持384个专家并行推理,极大提升效率;还可以支持“一卡一算子任务”,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率提升50%以上。对于万亿、十万亿参数的大模型训练任务,在云数据中心,还能将432个超节点级联成最高16万卡的超大集群。
当前,昇腾AI云服务已为科大讯飞、新浪、硅基流动、面壁智能、中科院、360等超过1300家客户提供AI算力,加速千行万业智能化升级。
盘古大模型5.5全面升级盘古自然语言处理NLP大模型、多模态大模型、预测大模型、科学计算大模型、计算机视觉CV大模型等五大基础模型。盘古大模型基于昇腾云的全栈软硬件训练,标志着基于昇腾可以打造出世界一流大模型。同时在高效长序列、低幻觉、快慢思考融合、Agent等特性上进行升级。
华为诺亚方舟实验室主任王云鹤盘古大模型的使命是让各个行业不必重复“造轮子”,不必从零打造自己的企业大模型。
华为云还打造AI Native的云,让客户更便捷加速智能化。(完)