Google開源XSE推論引擎：內部每秒處理逾600萬次請求，服務端不必執行Python

Google開源XLA Serving Engine（XSE），讓AI模型推論不必在Python執行環境中進行。模型開發階段仍可使用Python，但處理使用者請求的服務端則採用C++執行階段。

Google於11月5日在官方部落格宣布，XSE以Apache 2.0授權釋出。XSE是OpenXLA生態系中用於匯出模型與執行推論的工具。

XSE由模型匯出工具和推論執行階段組成。開發者可將以JAX或PyTorch建立的模型匯出為XLA SavedModel格式，再由C++執行階段載入並執行。

XLA SavedModel包含用來描述模型計算流程的StableHLO。Google表示，模型權重則會儲存在Orbax檢查點中。

OpenXLA是一套將機器學習模型編譯成可在不同運算設備上執行的生態系。XLA編譯器會依照設備準備模型計算，XSE則把準備好的模型連接到回應服務請求的執行環境。

Google自2025年起，已將XSE的核心元件部署在內部服務基礎架構中。Google列出的應用案例包括YouTube Shorts、Google Ads、搜尋服務，以及Gemini Omni的部分功能。

Google表示，XSE在內部每秒處理超過600萬次請求。這項數字反映Google內部的營運規模，並不代表XSE在外部環境也能達到相同處理量。

效能比較是Google針對短請求進行的內部測試。相較於Google自行建置並最佳化的Python伺服器，XSE的處理量高出2至5倍；若與預設設定的Python伺服器相比，則高出8至36倍。

Google表示，XSE每次預測所需的CPU時間比Python實作少30%至70%，記憶體用量約為四分之一。這些數字同樣來自Google公布的測試結果。

XSE主要用於推薦系統、影像辨識等需要快速處理短請求的工作。Google將它定位為輕量型推論引擎，重點在降低每次請求的延遲。

需要處理長上下文並連續生成文字的大型自回歸語言模型，並非XSE的主要適用對象。Google建議這類模型採用具備專用記憶體管理功能的工具，例如vLLM或SGLang。

OpenXLA公開儲存庫指出，同一個已匯出的模型套件可在CPU、輝達（NVIDIA，NVDA）GPU及Google Cloud TPU上執行。開發者匯出模型時，也能一併納入符合目標設備的計算資訊。

XSE可獨立部署為推論引擎，也可連接至更複雜的服務系統。它的設計目標是在處理服務請求的執行路徑中排除Python直譯器。

Apache 2.0是允許商業使用與修改的開源授權。Google已將XSE原始碼和使用說明發布於公開儲存庫。

Google表示，後續計畫包括透過TorchTPU支援將PyTorch模型匯出至TPU。離線編譯功能將先提供給內部使用者，再對外發布；Google也表示會提供以C++為基礎的資料前處理工具。