
OpenClaw的橫空出世,讓“養(yǎng)龍蝦”成為全民熱議話題,無(wú)數(shù)企業(yè)開(kāi)始在海量token的消耗、核心數(shù)據(jù)的安全、云端服務(wù)的穩(wěn)定等問(wèn)題中興奮與焦慮。
基石
從生成式對(duì)話系統(tǒng)到自動(dòng)駕駛,從精準(zhǔn)醫(yī)療到智能制造,AI應(yīng)用正深刻改變著我們的生活與生產(chǎn)方式,支撐這些的是一個(gè)龐大、復(fù)雜且耗資巨大的底層系統(tǒng)——人工智能基礎(chǔ)設(shè)施。它如同現(xiàn)代城市的供水、供電、交通和通信網(wǎng)絡(luò)一樣,是承載所有智能應(yīng)用運(yùn)行、訓(xùn)練與迭代的物理與社會(huì)技術(shù)基座。
理解人工智能基礎(chǔ)設(shè)施,需要將其視為一個(gè)分層協(xié)同的整體。
最底層也是最核心的物質(zhì)基礎(chǔ)是算力層。人工智能模型的訓(xùn)練和推理,特別是當(dāng)前主流的大規(guī)模深度學(xué)習(xí)模型,本質(zhì)上是對(duì)海量數(shù)據(jù)進(jìn)行極其復(fù)雜的數(shù)學(xué)運(yùn)算,這需要巨大的計(jì)算能力,而傳統(tǒng)的中央處理器已難以勝任。因此,以圖形處理器、張量處理器以及各類專用集成電路為代表的專用計(jì)算芯片成為了算力層的絕對(duì)主角。這些芯片被大規(guī)模部署在數(shù)據(jù)中心內(nèi),通過(guò)高速互聯(lián)網(wǎng)絡(luò)連接成成千上萬(wàn)顆芯片組成的計(jì)算集群,形成了“智能算力中心”或“人工智能超級(jí)計(jì)算機(jī)”。算力層的規(guī)模、效率和互連能力,直接決定了一個(gè)國(guó)家或機(jī)構(gòu)能夠訓(xùn)練出的模型的上限。
在算力層之上,是數(shù)據(jù)層,數(shù)據(jù)層涵蓋了從數(shù)據(jù)采集、清洗、標(biāo)注、增強(qiáng)到存儲(chǔ)和版本管理的全生命周期。AI素有“數(shù)據(jù)是燃料”的說(shuō)法,沒(méi)有經(jīng)過(guò)精心處理的高質(zhì)量數(shù)據(jù),再?gòu)?qiáng)大的算力也無(wú)法訓(xùn)練出有用的模型。原始數(shù)據(jù)往往是非結(jié)構(gòu)化的、嘈雜的、不完整的,比如互聯(lián)網(wǎng)上的海量文本、未經(jīng)標(biāo)注的圖像或傳感器日志,數(shù)據(jù)層的作用就是將這座“數(shù)字礦山”中的原材料提煉成標(biāo)準(zhǔn)化的、可用的“精煉燃料”。如何構(gòu)建能夠自動(dòng)或半自動(dòng)進(jìn)行高質(zhì)量數(shù)據(jù)篩選與合成的數(shù)據(jù)管道,已經(jīng)成為決定模型性能的關(guān)鍵瓶頸。
承接算力與數(shù)據(jù)的則是平臺(tái)層。這一層提供了開(kāi)發(fā)、訓(xùn)練、驗(yàn)證和部署人工智能模型所需的軟件工具和框架。一個(gè)繁榮的平臺(tái)層能夠極大降低AI應(yīng)用的開(kāi)發(fā)門檻,加速?gòu)睦碚摰綄?shí)踐的轉(zhuǎn)化效率。
挑戰(zhàn)
當(dāng)然,AI基礎(chǔ)設(shè)施的發(fā)展也不可避免的面臨著巨大挑戰(zhàn)。
首當(dāng)其沖的是算力成本與能耗問(wèn)題。隨著模型參數(shù)規(guī)模從千億邁向萬(wàn)億乃至更高,一次完整訓(xùn)練所需的電力消耗堪比一個(gè)小型城市數(shù)年的用電量,這種指數(shù)級(jí)增長(zhǎng)的能耗不僅帶來(lái)了天文數(shù)字般的成本,也對(duì)全球碳減排目標(biāo)構(gòu)成了巨大壓力。
其次是專用化與一體化問(wèn)題,通用算力平臺(tái)在某些特定場(chǎng)景下存在效率低下問(wèn)題,因此針對(duì)人工智能訓(xùn)練和推理的專用芯片正蓬勃發(fā)展。與此同時(shí),從芯片到框架再到應(yīng)用的全棧式一體化設(shè)計(jì)也成為頭部機(jī)構(gòu)的重要策略,通過(guò)軟硬件協(xié)同設(shè)計(jì),可以挖掘出遠(yuǎn)超簡(jiǎn)單堆砌硬件的性能潛力。
最后是基礎(chǔ)設(shè)施的“云化”與“邊緣化”并行。對(duì)于絕大多數(shù)企業(yè)和開(kāi)發(fā)者而言,自建大規(guī)模人工智能數(shù)據(jù)中心既不現(xiàn)實(shí)也不經(jīng)濟(jì),因此,通過(guò)公共云服務(wù)商以服務(wù)的形式租用算力、數(shù)據(jù)服務(wù)和模型平臺(tái),成為主流模式,算力也從中心云向網(wǎng)絡(luò)邊緣側(cè)下沉。
結(jié)語(yǔ)
AI基礎(chǔ)設(shè)施不僅是技術(shù)競(jìng)賽的制高點(diǎn),更是衡量一個(gè)國(guó)家科技創(chuàng)新實(shí)力和數(shù)字經(jīng)濟(jì)水平的關(guān)鍵標(biāo)志。隨著量子計(jì)算、光計(jì)算、存內(nèi)計(jì)算等顛覆性技術(shù)的成熟,我們或許將看到當(dāng)前基于馮·諾依曼架構(gòu)的算力體系被重構(gòu)??梢灶A(yù)見(jiàn),建設(shè)一個(gè)高效、綠色、普惠、可信的人AI基礎(chǔ)設(shè)施,將是全人類邁向通用人工智能時(shí)代前必須完成的一項(xiàng)浩大工程。
(文/星魂)
e-Mail:lab@enet16.com