超节点为何成为趋势
昇腾生态发展部部长张良在WAIC展会期间接受澎湃新闻记者采访时表示,超节点架构非常适合当下的大模型训练和推理,很多MoE模型(混合专家模型)里面有很多“专家”,这些模型在训练过程中,多专家的相互通信非常频繁,通信量非常大,通信的时候需要做到数据统一,这是超节点架构的优势。
张良披露了华为和DeepSeek在开发V4模型上的深度合作。“从模型的架构、参数以及底层模型的调优、算子开发等层面都做了协同,甚至模型开发的框架和开发方式上都是有协同的,我们整体参与投入比较大。”张良表示。
作为国内唯一规模商用的超节点,昇腾384超节点已累计部署750多套,规模应用于互联网、运营商、金融等行业。
沐曦股份研发副总裁黄向军也表示,随着模型规模越来越大,尤其万亿参数的大模型,客观上需要更大规模的GPU,通过高带宽连接在一起。此外,MOE的模型专家间的通信,无论训练还是推理都要求延迟越低越好,超节点这个架构比普通的服务器更适合。
中科曙光自主研发的全国产十万卡AI超集群——曙光8000(登峰)也真机亮相在WAIC上。
曙光展台一位工作人员向澎湃新闻记者介绍,超节点相较于传统的AI服务器有几个优势,芯片密度高,占地面积要小很多,另外效率上也会提升20%-30%左右,整体成本也会降低一些。
超节点架构中互联和交换芯片至关重要,他们类似“超级GPU”能否高效运转的“中枢神经”和“高速公路”,直接决定了整个系统的算力能否被有效释放。澎湃新闻记者在现场了解到,中兴通讯和盛科通信两家产品用在多家国产超节点架构中。
目前除了华为外,其他家超节点产品都没有规模商用,有的则刚推出产品,还没有投入使用。昆仑芯相关工作人员表示,他们的产品是有真正商用落地的。
一位服务器行业人士接受澎湃新闻记者采访时表示,超节点产品目前市场需求还很小,主要是几家互联网厂商和大模型厂商。常规的AI服务器依然有很好的市场需求。
页:
[1]