新聞 
幣種資訊 
關於我們 
AI代理執行程式碼、呼叫工具時，CPU單核心效能與延遲變得更加重要。NVIDIA表示，為因應這類工作，Vera CPU採用單一矽晶片設計。
NVIDIA Vera團隊在接受Wccftech訪問時表示，雲端運算時代為提升吞吐量，業界著重增加核心數；但AI代理涉及許多循序作業，因此單核心效能的重要性提高。這次訪問於10月18日刊出。代理在交由GPU運算前後仍須執行程式碼和處理資料，若CPU作業延遲，GPU可能得等待下一項工作。
Vera採用將核心配置在單一矽晶片上的「單體式」設計。相較於連接多個小晶片的做法，這種架構著重避免核心間通訊跨越輸入輸出邊界，以降低延遲。NVIDIA在技術部落格表示，Vera將88個Olympus核心連接至共享快取與記憶體系統，核心間雙向頻寬最高可達每秒3.4TB。
效能比較數據須依測試條件分開解讀。Vera團隊在訪問中表示，Vera速度是前代Grace的1.5倍；在Python腳本、程式碼編譯等代理工作中，效能最高可達頂級x86處理器的2倍。NVIDIA技術部落格則指出，在涵蓋編譯器、腳本工具、執行環境及代理工具呼叫的完整插槽負載下，Vera的沙盒效能最高為競爭x86平台的1.5倍。由於工作項目與測量條件不同，這兩組數據不能直接視為同一基準比較。
Vera也採用「空間多執行緒」技術，將資源分配給工作執行執行緒與輸入輸出執行緒。Wccftech訪問提到，Phoronix測試顯示效能提升約20%，但NVIDIA技術部落格未列出具體測試條件。比較效能時，仍須一併考量工作類型與負載條件。
AI代理不只生成回覆，也會執行程式碼或呼叫外部工具；在GPU運算之間，CPU因此需要處理循序作業。先前報導指出，SpaceX AI將以Vera CPU擴充Grok基礎設施，其中GPU負責大型模型運算，CPU則處理工具呼叫與程式碼執行等工作。
NVIDIA在技術部落格表示，Vera的設計目標是在強化學習後處理與代理推論中縮短CPU作業時間。實際服務的吞吐量與延遲，仍可能因工作配置和部署環境而異。
留言 0