凱特工程師改造輝達(NVIDIA,$NVDA)的CMP 170HX挖礦顯示卡,將可用記憶體從8GB提升至80GB。她自行進行的FP16運算測試中,改造卡的處理量比一般A100高約18%。
凱特在10日公開的技術文章中表示:「我把自己的CMP 170HX 8GB顯示卡,實際上改成了A100-80G。」這並不代表產品名稱變成A100,而是原先鎖定的記憶體與運算功能現在可以使用。
CMP 170HX與A100採用相同的GA100晶片。凱特指出,CMP 170HX 8GB挖礦版透過電子熔絲(eFuse)設定,限制了大部分記憶體與部分運算功能。
凱特檢查的8GB型號,實際搭載約80GB高頻寬記憶體(HBM)。透過原有軟體方式,最多可使用64GB。
這次改造使用「電壓故障注入」技術,短暫降低晶片電壓,藉此存取平時無法寫入的電子熔絲控制功能,再修改熔絲設定與軟體配置,解除記憶體和運算單元的限制。
為了調整電壓,凱特使用一塊小型控制板,攔截GPU與電壓調節器之間的訊號,並送出獨立波形。她反覆切斷並重新接通顯示卡電源;依她所述,在自己的設備上,解除單張卡的鎖定功能耗時1至48小時。
凱特檢查的10張CMP 170HX 8GB顯示卡中,有9張可使用80GB記憶體。剩下1張的可正常運作記憶體為64GB,無法擴增至80GB。
凱特將資料寫入全部可用記憶體後再讀取,以確認功能正常。她也表示,AI模型執行軟體vLLM與SGLang都能運作。
運算功能也有所增加。凱特表示,改造卡可使用約120至126個正常運作的串流多處理器(SM);一般A100則啟用了108個。
凱特的技術文章列出的改造卡FP16處理量,在OpenCL原始輸出中為85.858TFLOP/s,後段結果表則為85.861TFLOP/s。作為比較,A100為72.488TFLOP/s,透過原有軟體方式改造的CMP 170HX則為50.129TFLOP/s。
改造卡在這項FP16測試中比A100高約18%。這個差距僅適用於該測試結果,不代表所有AI工作都會有相同的速度差異。
凱特也透過額外零件與設定調整,測試PCIe 4.0及兩張卡的NVLink連接。她表示,測試中的兩張卡各自顯示有80GB記憶體。
不過,錯誤更正功能(ECC)、影像處理功能與GPU分割功能都未經測試,因此這些功能是否正常運作不在本次測試結果之列。
凱特表示,後續將發布更多關於NVLink的研究結果。
Comment 0