
AI像火焰,正在磨滅天下,而算力組成了“柴薪”。在國(guó)與國(guó)之間的東談主工智能競(jìng)爭(zhēng)日益濃烈確當(dāng)下,算力成為國(guó)力的瑕玷體現(xiàn)。
圍繞著這個(gè)話題,不久前,華為在北京組織了2026新春媒體沙龍。當(dāng)今,意象打算產(chǎn)業(yè)也曾成為華為公司最瑕玷的業(yè)務(wù)主航談之一,華為意象打算居品線營(yíng)銷運(yùn)作部部長(zhǎng)張愛軍暗示,但愿明天為中國(guó)構(gòu)建一個(gè)堅(jiān)實(shí)的算力底座,“為天下提供一個(gè)新的接受”。
“超節(jié)點(diǎn)”成為他演講的要津詞。
什么是超節(jié)點(diǎn)?超節(jié)點(diǎn)在行業(yè)內(nèi)如故一個(gè)新惹事物,行業(yè)內(nèi)對(duì)超節(jié)點(diǎn)還未變成圭臬界說(shuō),張愛軍暗示,華為但愿在行業(yè)界變成共鳴,界說(shuō)什么樣的配置是超節(jié)點(diǎn)。
當(dāng)今業(yè)界有些見地,合計(jì)超節(jié)點(diǎn)雷同“大型機(jī)”,或者銜接的意象打算卡填塞多,即是超節(jié)點(diǎn)了。張愛軍合計(jì)這些見地是對(duì)超節(jié)點(diǎn)的扭曲,從華為的角度來(lái)說(shuō),“超節(jié)點(diǎn)”是意象打算節(jié)點(diǎn)通過(guò)高速互聯(lián)條約組成更大內(nèi)存空間的意象打算系統(tǒng),粗略提供大帶寬、低時(shí)延的互聯(lián)才氣。
傳統(tǒng)意象打算架構(gòu)中,卡間互聯(lián)依賴PCIe或以太網(wǎng),跨工作器互聯(lián)帶寬多為200-400Gb/s且時(shí)延達(dá)數(shù)十微秒,在千億參數(shù)模子造就的并行意象打算場(chǎng)景中,常常的GB級(jí)數(shù)據(jù)通訊禁止,導(dǎo)問(wèn)候象打算恭候通訊,成為性能瓶頸。
比如下圖中,CPU-AI處理器之間通過(guò)PCIe互聯(lián),AI處理器之間通過(guò)RoCE互聯(lián),單跳通訊時(shí)延只可作念到微秒級(jí),RTT通訊時(shí)延會(huì)更高,高達(dá)幾十微秒;假如要從32卡升級(jí)到64卡規(guī)模,需要增加二層交換,組網(wǎng)復(fù)雜;而況不撐抓內(nèi)存援救編址,無(wú)法作念到全局的內(nèi)存池化以及AI處理器之間的內(nèi)存語(yǔ)義拜謁,通盤訪存王人需要通過(guò)音訊語(yǔ)義通訊,優(yōu)化存在瓶頸。
而超節(jié)點(diǎn)借助高效的互聯(lián)條約破損傳統(tǒng)架構(gòu)縱容,能作念到大帶寬、低時(shí)延、內(nèi)存援救編址,撐抓更大規(guī)模AI處理器的高效協(xié)同,罷了更大范圍、更高流量的數(shù)據(jù)傳輸,從而突破系統(tǒng)性能瓶頸。
張愛軍作念了個(gè)譬如:“有填塞大的帶寬,就像中國(guó)的經(jīng)濟(jì)為什么粗略起飛,基礎(chǔ)設(shè)施包括高速公路、高速鐵路功不可沒,一個(gè)好的超節(jié)點(diǎn)一定要有填塞大的帶寬;高速公路路修得寬,還不行堵車,要有填塞低的時(shí)延,長(zhǎng)安街也很寬,然則經(jīng)不起天天堵,時(shí)延不及夠好很難構(gòu)建起來(lái)成果;能不行變成有用的邏輯上的單一系統(tǒng),要津是內(nèi)存能不行真確宗一編址,有援救內(nèi)存編址的時(shí)刻才能真確稱得上超節(jié)點(diǎn)。”
以昇騰384超節(jié)點(diǎn)為例,相較于傳統(tǒng)工作器架構(gòu),通訊帶寬進(jìn)步15倍、RTT通訊時(shí)延從7微秒作念到3微秒,鐫汰了50%以上。
實(shí)踐情況中,還需要具備散熱時(shí)刻、模塊化架構(gòu)、冗余才氣、銜接時(shí)刻、供電才氣等工程才氣,以及大規(guī)模、高可靠、天知道分等系統(tǒng)才氣,才是真確可商用的超節(jié)點(diǎn)。
為什么需要超節(jié)點(diǎn)?超節(jié)點(diǎn)的出現(xiàn),是AI發(fā)展的勢(shì)必產(chǎn)物。
張愛軍在演講中建議了三個(gè)趨勢(shì)不雅察:
起先,模子的規(guī)模正變得越來(lái)越大。東談主工智能的中樞在于壓縮與泛化,壓縮是通過(guò)意象打算將物理天下的多元信息映射為函數(shù)抒發(fā),這一流程需破費(fèi)多量算力,跟著大模子從單模態(tài)轉(zhuǎn)向多模態(tài),其對(duì)算力的需求會(huì)進(jìn)一步高漲。
其次,輸入長(zhǎng)度顯貴增加,模子荊棘文長(zhǎng)度,將從K級(jí)邁入兆級(jí)。參增加模態(tài)期間,輸入從翰墨到加入視頻和圖片,導(dǎo)致序列長(zhǎng)度大幅進(jìn)步,在意象打算流程中更長(zhǎng)的輸入意味著更長(zhǎng)的矩陣維度,進(jìn)而推高意象打算量。
第三,在數(shù)據(jù)層面,泛化才氣決定了智能上限,而進(jìn)步泛化離不開更多數(shù)據(jù),時(shí)時(shí)彩行使東談主工智能生成合成數(shù)據(jù)以抓續(xù)擴(kuò)展造就資源已成為趨勢(shì),造就數(shù)據(jù)規(guī)模也從 10TB 級(jí)升級(jí)為 100TB 級(jí)。
“通盤的一切王人決定了明天對(duì)算力的需求會(huì)指數(shù)性增長(zhǎng),,今天算力的需求遠(yuǎn)遠(yuǎn)未被雕悍,不管是在行業(yè)里參加到坐褥系統(tǒng)的流程當(dāng)中,如故在ToC的消費(fèi)端,咱們看到token破費(fèi)的數(shù)目不是倍增,而是指數(shù)級(jí)增長(zhǎng)。舊年國(guó)度數(shù)據(jù)局發(fā)布的數(shù)據(jù),2024歲首,我國(guó)每天破費(fèi)的AI有關(guān)“Token”(可相識(shí)為AI處理的基礎(chǔ)數(shù)據(jù)單位)惟一1千億;可到了2025年6月底,這個(gè)數(shù)字也曾突破30萬(wàn)億,短短1年半期間就漲了300多倍。”張愛軍說(shuō)談。
但當(dāng)咱們將視野移向算力的供給端,跟著半導(dǎo)體制造時(shí)刻接近涉及物理極限,摩爾定律正在失效,導(dǎo)致單一芯片的進(jìn)步難以雕悍東談主類對(duì)算力的需求。這種情況下,多芯片互聯(lián)的大規(guī)模意象打算節(jié)點(diǎn)就成為處置問(wèn)題的要津。
這就回到了上文中提到的問(wèn)題,傳統(tǒng)集群通過(guò)“工作器堆疊和以太網(wǎng)結(jié)伙”的花樣進(jìn)步算力規(guī)模,工作器之間帶寬不及、時(shí)延大,集群規(guī)模越大,算力行使率反而越低。Meta公布的Llama 3.1論文涌現(xiàn),在1.6萬(wàn)卡H100集群上造就時(shí),算力行使率低。同期,集群規(guī)模蔓延還帶來(lái)了可靠性問(wèn)題,在54天的造就流程中,通盤這個(gè)詞集群累計(jì)中斷419次,平均每天中斷8次,也即是說(shuō)每3小時(shí)就會(huì)出現(xiàn)一次故障。
此外,在推理端,對(duì)低時(shí)延的條目日益嚴(yán)苛。比如金融風(fēng)控場(chǎng)景時(shí)延條目小于20毫秒,反誆騙的時(shí)延更是要在10毫秒以下。而Agentic AI需要更多任務(wù)協(xié)同和多輪次推理迭代,傳統(tǒng)的意象打算架構(gòu)也難以雕悍低時(shí)延條目。
因此,超節(jié)點(diǎn)應(yīng)時(shí)而生,通過(guò)新的互聯(lián)條約及架構(gòu)突破工作器擴(kuò)展的硬件縱容,來(lái)增強(qiáng)算力的供給。經(jīng)華為考據(jù),在DeepSeek、Qwen等多模態(tài)、MoE模子上,超節(jié)點(diǎn)相較于傳統(tǒng)集群不錯(cuò)達(dá)到3倍以上造就性能的進(jìn)步,同期在強(qiáng)化學(xué)習(xí)場(chǎng)景下,不錯(cuò)將訓(xùn)推權(quán)重的傳輸從小時(shí)級(jí)降到60s。
華為的算力攻堅(jiān)2019年,華為參加意象打算產(chǎn)業(yè),其時(shí)建議了“硬件綻開、軟件開源、使能伙伴、發(fā)展東談主才”的十六字方針。時(shí)隔六年,鯤鵬的注冊(cè)開荒者數(shù)達(dá)到了約380萬(wàn),昇騰約有400萬(wàn),同期,華為還和約9800家ISV伙伴打造了跨越2萬(wàn)個(gè)處置決議,這些處置決議平時(shí)應(yīng)用在金融、運(yùn)營(yíng)商、動(dòng)力、制造等領(lǐng)域。
但比起數(shù)目的增長(zhǎng),真確的攻堅(jiān)源于底層時(shí)刻的突破,以及新時(shí)刻的得勝交易化,超節(jié)點(diǎn)即是這么的一個(gè)案例。
采訪中,張愛軍提到了一個(gè)細(xì)節(jié),光模塊是相比“嬌嫩”的系統(tǒng),灰塵、溫度變化王人會(huì)導(dǎo)致系統(tǒng)的閃斷和不踏實(shí),而華為昇騰384的超節(jié)點(diǎn)光模塊有快要幾千顆,通過(guò)模塊化的設(shè)想和冗余時(shí)刻等,罷了了規(guī)模化的商用。
據(jù)了解,自舊年預(yù)防上市以來(lái),昇騰也曾規(guī)模部署了快要數(shù)百套,平時(shí)應(yīng)用在互聯(lián)網(wǎng)、金融、動(dòng)力、制造等九行八業(yè)中。
{jz:field.toptypename/}昔日一年,華為還在業(yè)界首創(chuàng)了將超節(jié)點(diǎn)時(shí)刻引入到通宅心象打算中,是寰球第一家發(fā)布了通算超節(jié)點(diǎn)的廠商。華為還將構(gòu)建超節(jié)點(diǎn)的靈衢條約十足綻開,以激動(dòng)在中國(guó)變成圓善的產(chǎn)業(yè)鏈花樣。
本日受邀參加行徑的工業(yè)和信息化部新聞宣傳中心(東談主民郵電報(bào)社)總剪輯王保平在會(huì)議開動(dòng)時(shí)講談:“算力四肢數(shù)字經(jīng)濟(jì)的中樞坐褥力,也曾成為像水電相似的基礎(chǔ)資源。現(xiàn)時(shí)算力需求從通宅心象打算向智能意象打算蔓延,從中心向邊際擴(kuò)展,這既需要芯片、工作器、數(shù)據(jù)中心等硬件領(lǐng)域的抓續(xù)突破,也需要架構(gòu)軟件、調(diào)治平臺(tái)等系統(tǒng)層面的協(xié)同翻新。”
而華為,在這個(gè)歷史進(jìn)度中,作念出了瑕玷的激動(dòng)。
面向明天,張愛軍暗示,就像在挪動(dòng)互聯(lián)網(wǎng)期間,華為給天下提供了當(dāng)先的5G居品,面向明天AI期間,華為將通過(guò)“集群+超節(jié)點(diǎn)”的翻新,為中國(guó)包括全天下提供算力新接受。

備案號(hào):