超微(AMD)第五代EPYC伺服器處理器將為Google Cloud TPU 8tx提供主機基礎架構。TPU 8tx是首款支援硬體層級「機密運算」的雲端TPU系統。
超微於9日發布的官方公告指出,這項配置旨在支援企業進行AI推論、微調與強化學習,同時保護敏感資料。
EPYC負責為TPU準備運算資料、協調工作並管理與加速器的通訊。超微也將x86軟體相容性列為這項配置的特點之一。
安全機制採用EPYC的安全加密虛擬化(SEV)技術。TPU加速器存取受保護記憶體前,系統會確認裝置身分與安全設定。客戶輸入的提示詞、模型權重與運算中間資料,均設計為在CPU記憶體中及主機與加速器之間傳輸時加密;加速器運算期間則採用硬體隔離。
超微運算與企業AI事業群資深副總裁暨總經理丹·麥克納馬拉(Dan McNamara)表示:「高效能AI系統需要足以因應加速器需求的CPU基礎架構。」這番話凸顯主機CPU在支援AI加速器資料處理與工作協調方面的作用。
超微與Google Cloud已合作多代EPYC處理器。EPYC也應用於Google Cloud的C4D、N4D、H4D、Z4D與G4虛擬機器。超微表示,在使用GPU與客製化AI加速器的各類系統中,已有超過10家主要超大規模雲端業者與前沿AI研究機構選用EPYC作為主機CPU。這指的是EPYC在多種加速器系統中的採用情況,並非TPU 8tx的導入規模。
Comment 0