輝達近年的重點已經從單一晶片,擴展到CPU、交換器、軟體堆疊與整體參考架構,它想賣的不是零件,而是能直接部署的AI基礎設施模組,讓客戶用更短時間建出可運行訓練與推論的AI工廠。
從賣GPU 升級成賣可運營的AI基礎設施
輝達的策略可以拆成四層:GPU與CPU算力、網路互連、軟體平台,以及上層的應用與服務。
第一個方向是雲端與超大規模資料中心,像Meta這類客戶會採用Blackwell、Rubin、Spectrum-X以及Grace或Vera CPU形成完整資料中心架構。
第二個方向是企業與主權AI,透過NIM、NeMo、Blueprints、DGX類系統,把AI部署門檻往下壓。
第三個方向是電信與邊緣AI,也就是AI-RAN,把GPU、AI能力放進RAN與6G升級路徑裡。
第四個方向是AI網路基建延伸,包含長距離光網路、暗光纖、DCI與自建互連能力,讓AI資料中心不再完全依賴第三方雲與電信骨幹。
AI網路架構全光學立體升級循環
當AI從訓練走向推論、從單點模型走向AI代理,網路和軟體的重要性會快速上升,所以輝達也同步強化networking、Dynamo類調度軟體與整體系統設計,這解釋了為什麼它同時投資諾基亞、深化與Meta合作,還傳出布局暗光纖,因為它要把AI服務從賣GPU升級成賣可運營的AI基礎設施。
當AI算力進入Blackwell NVL72、Rubin世代的巨型叢集階段,單一伺服器效能不再是唯一瓶頸,真正的瓶頸轉移到了通訊牆與功耗牆。為了讓數萬顆GPU協同計算而不產生資料堵塞,AI網路架構正在經歷一場從「機櫃內」延伸至「數千公里外」的全光學立體升級循環,這個架構可以由近距離到超長距離劃分為四個層次:CPO、800G/1.6T光收發模組、ZR/ZR+相干光收發模組、暗光纖。
單一機房突破數萬顆GPU極限
解決超短距離高密度傳輸與DSP功耗牆(小於一公尺至幾公尺):CPO將光引擎(Optical Engine)直接與ASIC晶片共同封裝在同一塊基板上,把電信號路徑縮到最短。功耗降低30%以上,延遲大幅下降,是單一機房(Cluster)突破數萬顆GPU極限的終極技術。
代表股:博通與輝達掌握主控交換器與GPU晶片設計,主導CPO規格與生態系。台積電憑藉COUPE封裝技術與3DFabric平台,成為全球CPO晶片整合的絕對獨家製造商。日月光投控透過VIPack平台提供矽光子多晶片先進封裝代工。聯鈞具備高階雷射元件封裝能力,積極轉型代工CPO光引擎封測與矽光子模組。訊芯-KY專攻CPO高階SiPh(矽光子)模組封測,深度合作美系晶片巨頭。
交換器網路同步升級至800G 全面向1.6T推進
解決Scale-Out交換器網路的高頻寬爆發(十公尺至二公里):AI模型訓練需要頻繁進行「All-Reduce」數據同步,集群對頻寬的需求是傳統雲端運算的十倍以上,是目前規模最大、確定性最高的商業化量產市場,隨著GPU升級,機房內的Spine-Leaf交換器網路必須同步升級至800G,並全面向1.6T推進。
代表股:Coherent與Lumentum供應高階EML與磷化銦晶片。聯亞供應800G/1.6T模組所需的磷化銦磊晶片,特別是矽光子外置光源CW Laser,是全球光通訊最上游的核心材料商。中際旭創的800G/1.6T出貨量領先全球,華星光與前鼎專注於高階光收發模組製造與代工。
跨資料中心園區(DCI,80公里至120公里)主要面對的問題是,單一Gigawatt級別的AI資料中心很難在同一個地點拿到足夠電力,必須把AI算力分散在相距數十至上百公里的二至三個資料中心,並將它們虛擬化成同一座超級電腦。
跨越數十公里進行超高頻寬傳輸
這需要借助ZR/ZR+(利用Coherent相干光技術)直接插在路由器或交換器上,讓資料不用經過昂貴的中繼設備,直接跨越數十公里進行超高頻寬傳輸。Marvell掌握相干光DSP晶片核心技術(COLORZ系列),是ZR/ZR+模組的大腦。
眾達-KY與博通緊密合作,布局相干光模組與高階光學封裝。波若威提供 DWDM(密集波長分複用)模組與光放大器,是ZR/ZR+多波長相干傳輸時不可或缺的被動元件,同時也讓單一對暗光纖可以同時切分成數十上百個光波傳輸。
暗光纖+DWDM 頻寬擴充幾近無限
全國或跨國光骨幹底座(數百至數千公里):暗光纖的部署決定了整體AI基礎建設的吞吐上限與地理布局。要串聯全美甚至全球的算力網絡時,租用傳統電信商的標準網路頻寬不僅費用昂貴,且頻寬會受制於人。直接購買或租賃未點亮的實體玻璃纖維管線(暗光纖),並裝上自己的DWDM光傳輸設備,能擁有自主權、極低延遲與幾近無限的頻寬擴充能力。
Ciena是最大的DWDM系統與光傳輸機架設備商。康寧是全球實體高密度光纖纜線的最大供應商。暗光纖拉入資料中心時,需要極高密度的FMM(光纖配線架)與高階連接頭進行配線與轉接,光聖為康寧及美系大型資料中心的最核心FMM供應商。
All-Reduce是一種關鍵的通訊演算法,在大型AI叢集中,AI模型每完成一次微小的訓練步驟(Step),數萬顆GPU就必須立刻執行一次All-Reduce,這意味著每隔一至二秒鐘,集群網路就會瞬間爆發一次高達數十PB的吞吐需求。
以一萬顆H100訓練70B模型為例,以硬體算力利用率MFU估為55%與模型拆算,GPU跑完一個Step的純計算時間約1.5秒。在800G(100 GB/s)網卡架構下,同步140 GB梯度需耗時1.4秒。
通訊時間壓到0.2秒以下 完全釋放GPU算力
這意味著計算花1.5秒,通訊就要花1.4秒,即使利用算傳重疊(Overlap)技術將傳輸隱藏在計算背後,通訊時間也幾乎佔掉計算時間,一旦網路出現微小波動(如尾部延遲),GPU就會被迫空轉,導致算力利用率暴跌。
這正是輝達與CSP巨頭積極升級到1.6T光收發模組與NVLink 5的主因,只有將通訊時間壓到0.2秒以下,才能完全釋放GPU算力。同時,輝達積極建置100對暗光纖,也是為了在跨區萬億參數All-Reduce時,撐住每秒5 PB的傳輸管道,防止跨區訓練癱瘓。


