Google 十年磨出最強 TPU 在 AI 時代逐步展現威力
AI跨入了多元應用發展的時期,運算有各種不同發展,使得各種垂直應用特殊功能晶片的發展更為蓬勃,Google投入十年以上發展雲端資料中心張量處理器(TPU),專為推論設計,現在TPU不但自用,更成為Google雲端服務平台(GCP)營收的重要來源,Google以模型和TPU躋身為AI浪潮中舉足輕重的軍火商之一,TPU產品受關注的程度,與輝達的GPU不相上下。
AI跨入了多元應用發展的時期,運算有各種不同發展,使得各種垂直應用特殊功能晶片的發展更為蓬勃,Google投入十年以上發展雲端資料中心張量處理器(TPU),專為推論設計,現在TPU不但自用,更成為Google雲端服務平台(GCP)營收的重要來源,Google以模型和TPU躋身為AI浪潮中舉足輕重的軍火商之一,TPU產品受關注的程度,與輝達的GPU不相上下。
TPU是Google開發的客製化特殊應用IC(ASIC),專為加速機器學習與AI工作負載而設計。Google提到,TPU經過最佳化調整,能高效處理大量矩陣乘法與張量運算,這些是類神經網路的基本建構模塊。
TPU鎖定大規模AI運算 矩陣架構提升推論效率
Google TPU的核心是專門的矩陣乘法單元(MXU),採用「收縮陣列」架構,資料讀取一次後即可持續流經數千個算術邏輯單元(ALU),累積運算結果,無需反覆讀寫記憶體,加速資料傳遞的速度。此外,TPU也支援降低精確度的算術運算,例如16位元或8位元浮點數,每秒可執行數百萬次運算,同時維持AI模型所需的準確率。
TPU非常適合需要大量平行矩陣運算的深度學習工作,例如以矩陣運算為主的模型、大型基礎模型及大型語言模型(LLM)、需要超大型嵌入的工作負載,例如進階推薦引擎,或是持續強化學習及低延遲、高容量的推論。
Google投入發展TPU逾十年,目前Gemini與Google旗艦產品包括搜尋、相簿與地圖等服務的核心引擎,都有TPU支援AI運算,使相關服務更智慧化,發展至今,Google在今年4月的雲端大會中公布,第七代TPU(Ironwood)已經在今年4月正式推出(General Availability),並同步發表第八代TPU,更規劃為兩大路線,包括 TPU 8t(代號 Sunfish)鎖定大型模型高強度訓練、TPU 8i(代號 Zebrafish)聚焦代理式 AI 推論(Agentic AI),預計在明年底正式推出。
新一代TPU效能大幅提升 Google加速拓展外部客戶
新一代的TPU也首次採用Google的Axion Arm架構處理器,TPU 8i與前幾代產品相比,在大型MoE模型的低延遲推論方面,每單位費用的推論效能提升80%。TPU 8t專為大規模預先訓練與嵌入密集型工作負載而打造,單一Superpod可容納9,600個晶片,每個Pod的運算效能幾乎是前一代的三倍,可提供前沿模型需要的高密度運算。
Google在財報會議中指出,目前TPU除了自用,已開始對外銷售,上季首度交付至客戶資料中心,包括重要客戶Anthropic。市場對於AI算力需求目前仍指數型的成長,Google的TPU也透過不斷迭代,以成本效益爭取用戶,在AI晶片市場的份量會越來越重。