首頁>專題>科技中國 使命擔當>要聞
破算力焦慮,萬卡集群來幫忙
人民政協(xié)網(wǎng)2月5日電 百度智能云于近日成功點亮昆侖芯三代萬卡集群,業(yè)界認為,這一重大突破標志著百度在人工智能算力領域邁出了堅實一步?;ㄆ煦y行發(fā)布研報稱,DeepSeek、百度等中國模型展現(xiàn)出的高效和低成本優(yōu)勢,將有助于加速全球AI應用開發(fā),并在全球引發(fā)更多技術創(chuàng)新,推動2025年人工智能應用的拐點。中國工程院院士、清華大學計算機系教授鄭緯民也表示,當下構建國產(chǎn)自主萬卡系統(tǒng)充滿挑戰(zhàn),但“至關重要”。
過去一年,人工智能行業(yè)在努力降低大模型使用成本,但算力緊張一直是導致成本居高不下的重要因素之一。百度通過自研芯片和建設大規(guī)模集群,不僅解決了自身算力供應的問題,還為整個行業(yè)提供了新的思路和方向。
從算力上看,超大規(guī)模并行計算能力可實現(xiàn)訓練效率躍升,萬卡集群可將千億參數(shù)模型的訓練周期大幅降低,滿足AI原生應用快速迭代的需求。? 隨著國產(chǎn)大模型的興起,萬卡集群也逐漸從“單任務算力消耗”到“集群效能最大化”過渡,通過模型優(yōu)化、有效訓練率提升、動態(tài)資源分配等手段,智能調(diào)度任務,將訓練、微調(diào)、推理任務混合部署,從而提升集群綜合利用率,降低單位算力成本。
值得一提的是,在2024年9月完成升級的百度百舸AI異構計算平臺4.0(以下簡稱“百舸平臺”),在萬卡集群的建設中發(fā)揮了重要作用:其構建了十萬卡級別的超大規(guī)模HPN高性能網(wǎng)絡,針對跨地域通信中的高延遲問題,通過優(yōu)化的拓撲結構、多路徑負載均衡策略及通信策略,實現(xiàn)了幾十公里的跨地域通信;在通信效率上,百舸通過擁塞控制算法和集合通信算法策略,保障了網(wǎng)絡的穩(wěn)定性;在多芯混訓方面,百舸能夠將不同地點、不同規(guī)模的異構算力進行統(tǒng)一管理,構建起多芯資源池,當業(yè)務提交工作負載時,百舸可自動進行芯片選型,依據(jù)集群剩余的芯片資源,選擇性價比最高的芯片來運行任務;在集群穩(wěn)定性方面,百舸提供了全面的故障診斷手段,能夠快速自動偵測到導致訓練任務異常的節(jié)點故障。(崔呂萍)
編輯:李律杉