輝達(NVIDIA, NVDA)推出全新基礎設施產品「NeMo Switchyard」,導入 AI 模型「路由」技術,協助企業壓低 AI代理(AI Agent)的運算成本。
Odaily 報導指出,NeMo Switchyard 運用 AI 模型路由機制,是專為降低 AI代理營運成本而設計的基礎設施。
透過將不同任務自動分派給合適規模的模型處理,企業有機會避免所有請求都仰賴大型模型運算,藉此減少不必要的算力支出。隨著愈來愈多企業將 AI代理導入日常營運,如何在效能與成本間取得平衡,已成為業界關注的焦點。
留言 0