Google 攜手 Meta、AMD 推機密 TPU、打通 PyTorch 挑戰輝達 AI 地位
Google Cloud 9日宣布新晶片、新軟體,搶進輝達(NVIDIA)AI晶片市場。包括攜手超微(AMD)擴充第8代TPU陣容,推出「TPU 8tx」與「TPU 8i Max」兩款專用晶片;軟體則結盟Meta打造原生支援PyTorch的「TorchTPU」平台,主打修改兩行代碼即可無縫自輝達GPU環境遷徙至Google TPU算力。Google以底層硬體安全到開源軟體框架,直攻輝達長年藉由硬體壟斷與CUDA護城河築起的高牆。
Google Cloud 9日宣布新晶片、新軟體,搶進輝達(NVIDIA)AI晶片市場。包括攜手超微(AMD)擴充第8代TPU陣容,推出「TPU 8tx」與「TPU 8i Max」兩款專用晶片;軟體則結盟Meta打造原生支援PyTorch的「TorchTPU」平台,主打修改兩行代碼即可無縫自輝達GPU環境遷徙至Google TPU算力。Google以底層硬體安全到開源軟體框架,直攻輝達長年藉由硬體壟斷與CUDA護城河築起的高牆。
三方合作,Google出AI晶片與雲端架構、Meta出軟體框架通行證、AMD出主機硬體安全後盾,三大巨頭合組「非輝達戰線」,以兩行代碼無痛搬遷、極速硬體迭代與高性價比排程技術軟硬夾擊,進軍輝達主導的全球算力市場。
輝達技術護城河在於全球開發者對開源框架PyTorch與CUDA生態的深度依賴,過往企業轉向TPU往往面臨極高的重構門檻。為消除轉移阻力,Google Cloud聯手PyTorch原創者Meta及開源社群,打造原生後端「TorchTPU」並正式商用。
開發者僅需在既有腳本中加入兩行代碼,便能直接調用Cloud TPU運算資源,保留全部現有模型代碼、函式庫與工作流程。此舉讓企業開發者能零門檻「無痛跳槽」改用Google算力。
在硬體層面,Google Cloud將TPU更新步調從「兩年一套」大幅提速至「單年推出四款專用系統」,繼春季發表TPU 8t與8i後,再度追加兩款次世代專用硬體,包括聯手AMD x86處理器主打機密運算的TPU 8tx,具備12.6 PFLOPs FP4運算力與216 GB HBM。落實硬體級PCIe鏈路加密與記憶體實體隔離;搭配BoardFly互聯架構,通訊延遲較TPU 8t減少一半。
另一款TPU 8i Max主打超巨量上下文高吞吐,採用單一封裝整合雙晶片(2 compute dies per package)架構,搭載384 GB HBM(增加33%)、17.2 TB/s超大記憶體頻寬(翻倍)與768 MB片上SRAM(翻倍),整體推論算力密度與吞吐量達到TPU 8i的2倍,專為維持龐大KV快取的複雜AI代理(Agent)流程量身打造。
除硬體升級,Google Cloud首度發表開源記憶體排程工具「TPU-Sync」。針對AI代理在跨系統調用工具或等待指令時出現的「運算空窗期」,TPU-Sync能在代理休眠時,動態將運算記憶體經加密PCIe鏈路卸載出晶片,騰出算力給其他推論任務並行處理,待指令觸發時秒級回載。該工具不僅拉升伺服器利用率、壓低單次推論成本,更向下相容現役TPU v7、v6及v5世代。Google Cloud攜手Inferact與RadixArk,讓主流開源推論引擎vLLM與SGLang原生開箱即用支援TPU與GPU,企業能透過GKE單一架構彈性調度異質算力叢集。