代幣成本最高降70%,Spectro Cloud推出本地AI推論平台

Spectro Cloud推出一套可在企業內部環境運行AI模型的「本地優先」推論平台,並表示可望將代幣（token）成本最高降低70%。該公司同時擴大對超微(AMD)基礎架構的支援,鎖定企業導入AI時最頭痛的成本與資料控管問題。

Spectro Cloud於7月21日(當地時間)宣布推出PaletteAI Inference Launchpad。這款產品是專為讓企業在自有硬體上運行大型語言模型（LLM）推論而設計的受管理設備(appliance),公司說明,依工作負載組成與部署方式不同,代幣成本最高可省下70%。

PaletteAI Inference Launchpad能將企業既有硬體轉換為私有AI平台,提供△vLLM△Kubernetes△身分驗證△角色權限存取控管(RBAC)△監控等功能,並支援GLM、DeepSeek、Kimi、Gemma系列的本地模型,以及超微(AMD)與輝達(NVDA)的GPU。

Spectro Cloud也擴大對超微(AMD) GPU的支援,涵蓋GPU Operator、ROCm執行環境,以及超微(AMD)企業AI參考架構(Reference Stack)。同時支援收錄於AMD Inference Microservices(AIMs)目錄中、經超微(AMD)最佳化的模型。這顯示該公司不只鎖定GPU,更試圖把伺服器、執行環境、模型與路由軟體整合為一套完整的企業AI維運環境。

產品也提供與AI程式碼工具的整合功能。OpenAI的Codex CLI可連接至PaletteAI Inference Launchpad的自訂模型供應者(custom model provider)。Cursor則能在Ask模式下,透過該設備提供的模型別名發送請求;不過使用自有模型的Agent、Edit、Tab模式,目前尚未支援BYOK(自帶金鑰)方式。

企業評估地端推論的背景,離不開成本與資料控管兩大考量。雲端AI服務用量一旦增加,代幣計費隨之攀升,原始碼、內部文件與智慧財產等敏感資訊也可能因此傳送至外部模型服務。Spectro Cloud說明,採用地端推論可讓資料留在企業內部環境,同時把不可預測的代幣費用轉換為可預估的基礎架構成本。

庫馬倫·希瓦(Kumaran Siva) 超微(AMD)企業AI事業部副總裁表示:「企業與雲端服務業者正在尋找能讓自己更掌握成本、效能與部署選擇權的開放式AI基礎架構。」他認為,Spectro Cloud的基礎架構支援有助於企業在開放式AI環境中加快實際服務部署的腳步。

這次發表並未直接涉及加密貨幣或區塊鏈網路。不過對交易所、錢包、資安稽核公司與鏈上數據分析業者這類經常處理程式碼與敏感資訊的組織來說,AI程式碼工具究竟該完全仰賴外部雲端,或是並行導入內部網路與地端AI,可能會成為兼顧成本與資安的實務課題。

超微(AMD)日前在Advancing AI 2026大會上,將Helios、EPYC「Venice」9006系列、Instinct MI455X與ROCm.AI列為AI基礎架構與開發的主要方向。不過,實際導入成本、70%節省的計算方式,以及各企業的投資回收期,目前均未對外公開。