新聞 
幣種資訊 
關於我們 
NVIDIA（NVIDIA，$NVDA）在TensorRT 11.1導入自動搜尋AI推論引擎建置路徑的功能。NVIDIA公布的10項工作負載比較結果顯示，調校後效能是各工作負載預設路徑的1.14至1.63倍；這些結果僅適用於受測工作負載，不代表所有模型都能獲得相同幅度的提升。
NVIDIA於23日在技術部落格說明全球效能調校器（Global Performance Tuner）的設計與測試結果。這項功能會以多種設定建置引擎，再比較完成建置的引擎推論效能。若啟用準確度驗證，系統會從符合容許標準的候選引擎中選出速度最快者。
建置路徑是編譯器設定值的組合，各設定值會調整啟發式方法、運算融合與程式碼產生方式等編譯選擇。若未指定其他路徑，設定值就會採用預設值。TensorRT 11.1可調整的設定值超過200個。
自動搜尋透過命令列工具trtexec執行。工具會將搜尋條件展開為個別建置路徑，依序建置引擎並測量速度。建置失敗或超過容許準確度損失門檻的候選引擎會被排除，之後從其餘引擎中選出測得效能最高者。
比較完整引擎，是因為單看個別運算的速度，難以判斷整體推論效能。某種選擇即使能加快一項運算，在與其他運算結合或搬移資料時也可能不利。測量完整引擎，才能找出較適合特定模型與執行環境的建置路徑。
準確度驗證需要輸入資料、供比較的參考輸出，以及容許誤差。因此，驗證結果應限於指定輸入、比較基準與門檻範圍內解讀。若測試資料無法代表實際使用條件，驗證結果就不能保證其他輸入也有相同準確度。
搜尋方式依建置時間與搜尋範圍分為不同類型。fast會以預設路徑為基礎，逐一調整設定值進行測試；full會檢查指定值的所有組合；mixed則根據fast的結果，進一步搜尋其他組合。設定值越多，檢查所有組合所需的成本也越高。
最佳路徑可能因模型、輸入形式、GPU、軟體環境，以及TensorRT與調校器版本而異。NVIDIA建議，這些條件改變時，不要直接沿用既有結果，而應重新測量引擎。
留言 0