大型雲端業者H100、H200與B200 GPU的公開費率中位數,是專業GPU雲端業者的1.98倍。這項比值是以公開的每小時費率比較得出,不代表所有地區與方案的實際合約成本都相差一倍。
Fluence Research於11月發布的《The AI Compute Race》報告,比較亞馬遜(Amazon,$AMZN)AWS、微軟(Microsoft,$MSFT)Azure、Alphabet($GOOGL)Google Cloud與專業GPU雲端業者的費率。1.98倍是三種GPU型號公開費率比值的中位數。
按型號來看,H100的費率差距最大,達2.8倍;B200則為1.4倍。H200每顆GPU的公開費率為每小時4.08至10.60美元(約5450至1萬4160韓元)。
H200的價格範圍顯示,即使是同一型號,不同業者公開的價格也可能相差甚大。GPU小時費率是以小時租用設備時適用的價格。
各型號的調查樣本數不同。H100比較3家大型雲端業者與7家GPU雲端業者;H200分別為3家與6家;B200則為2家與6家。
由於Azure沒有公開搭載8顆GPU的B200方案費率,大型雲端業者的B200樣本減至2家。報告將搭載8顆GPU方案的總價除以8,換算成每顆GPU的每小時費率。
只看公開價格難以計算實際合約成本,原因之一是各地區的費率條件不同。報告指出,Google Cloud的價格頁面未標示地區;Azure的H200費率則以美國東部2區為準。
費率包含的資源也可能不同。大型雲端業者的執行個體費率可能包含CPU、記憶體與網路,但部分專業業者的價格只涵蓋GPU。
報告分析,H100比較中,只要排除一家大型雲端業者,費率差距就可能變動15至52個百分點。因此,1.98倍是依據報告的樣本與價格計算方式得出的數值。
不同合約期間也會帶來價格差異。Fluence比較各業者的隨選費率與同一家業者的預約費率後統計,預約1年的價格中位數低21%,預約3年則低48%。
隨選方案是不簽長期預約、按需使用的方式。Spot費率約為隨選費率的53%,但業者可能收回正在使用的容量。
價格追蹤業者GetDeploying於11月9日發布的週報統計,過去一年可比較的22種GPU中,有17種隨選價格上漲、5種下跌;價格變動率中位數為15%。
Fluence報告也列出這22種GPU中有17種價格上漲,並將中位數漲幅統計為19%。兩份資料的3年預約折扣率同為48%,但1年預約折扣率分別為21%與25%,Spot費率占隨選費率的比例則分別為53%與56%。
Fluence在公司介紹中表示,該公司經營自有GPU雲端服務,也串接獨立資料中心的GPU容量。報告發布者本身也是GPU雲端業者,解讀這項費率比較時可將此納入考量。
Fluence也介紹,其DAO以FLT代幣為基礎,在以太幣(ETH)上運作。這份報告比較的是GPU租用費率,未提供將費率差距與FLT使用量或代幣價格變化連結的數據。
Comment 0