新聞 
幣種資訊 
關於我們 
套用開源工具 gpu-unlock 後，NVIDIA($NVDA) RTX 3090 Ti 的 BF16 矩陣運算效能在測試中從 87.50 TFLOPS 提升至 157.41 TFLOPS，增幅約 80%。不過，單項運算測試的結果不代表 AI 模型整體處理速度也會有相同比例的提升。
開發者 Zagitta 在專案說明文件中表示，Linux 核心模組會在 NVIDIA 驅動程式連接顯示卡前調整運算速度設定。這種做法不需重新寫入 vBIOS，也不會修改驅動程式。工具支援採用 Ampere 架構的 GPU，也就是 RTX 30 系列使用的架構。
專案公布的 RTX 3090 Ti 測試將功耗上限設為 450W，對大型矩陣乘法測量五次後比較中位數。在相同條件下，TF32 效能從 42.58 TFLOPS 提升至 82.61 TFLOPS，FP16 則從 87.46 TFLOPS 提升至 118.39 TFLOPS。BF16 是 AI 運算使用的數字格式，TFLOPS 則代表每秒浮點運算次數。
Zagitta 在專案說明文件中表示，使用者測試的大型語言模型預填充速度提升了 14% 至 36%。預填充是模型生成回答前處理輸入內容的階段；至於逐一生成回答詞元的解碼階段，以及 INT8 工作負載，速度大致相近。
不同顯示卡的測試結果不一。專案的使用者回報中，除了 RTX 3090 Ti，也列出 RTX 3090、RTX 3080、RTX 3070 和 RTX 3060 12GB 的效能提升案例。部分 RTX 3080 Ti 20GB OEM 產品即使執行工具後，BF16 效能仍只有原本的一半左右。
專案指出，各顯示卡的測試條件不同，難以直接比較效能增幅，功耗上限也會大幅影響結果。因此，這次測試約 80% 的增幅不能直接套用到實際 AI 服務，也不能視為所有顯示卡的速度提升幅度。
留言 0