高通 Dragonfly AI200解決方案 宣布攜手 Cirrascale 開放客戶評估
高通旗下高通技術公司與Cirrascale Cloud Services於今日宣布,專為新一代機架級AI推論打造的Dragonfly AI200解決方案,已透過Cirrascale開放特定客戶進行評估。
高通旗下高通技術公司與Cirrascale Cloud Services於今日宣布,專為新一代機架級AI推論打造的Dragonfly AI200解決方案,已透過Cirrascale開放特定客戶進行評估。
高通表示,隨著生成式AI從模型開發邁向大規模部署,推論效能、功耗與成本已成為雲端服務供應商及企業的重要考量。Dragonfly AI200專為因應這些挑戰而設計,結合大容量記憶體、機架級運算效能、以及針對推論最佳化的軟體堆疊,協助客戶以優異的成本效能與每瓦效能,部署大型語言模型、多模態模型及其他AI工作負載。
同時,高通指出,透過此次合作,Cirrascale現已可為特定客戶提供AI雲端環境,讓客戶使用自身模型與工作負載評估及驗證Dragonfly AI200。雙方也提供平台驗證、工作負載特性分析、效能基準測試及概念驗證等技術支援。
高通提到,Dragonfly AI200每張加速卡支援768 GB LPDDR記憶體,提供大規模AI推論所需的記憶體容量與彈性。其架構專為支援兆級參數規模的新一代基礎模型推論而設計,提供先進AI應用所需的效能與效率。此機架級解決方案也整合直接液冷、PCIe向上擴充(scale-up)、乙太網路向外擴展(scale-out)及機密運算技術,並搭配高通AI Management Suite,同時獲得主流AI框架生態系的支援。
除了通用型基礎設施外,特定客戶現在也能透過Cirrascale的雲端環境,評估專為AI推論打造的平台。
高通技術公司執行副總裁暨資料中心部門總經理Tony Pialis表示,AI推論正成為資料中心規模最大、最重要的運算工作負載之一,產業需要更有效率的解決方式。AI200將其在高效能、低功耗AI運算方面的優勢延伸至機架級基礎設施,其架構針對推論的效能、記憶體及成本需求而設計。透過與Cirrascale合作,客戶可直接使用自身工作負載評估這項技術,並實際了解由此帶來的資料中心整體經濟效益。