Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

149 個 GPU 核心程式實例中 83 個通過 Lean 規格驗證,6 個函式庫發現 38 項正確性問題

安裝在測試設備上的 GPU 加速卡 / TokenPost.ai

CertiK與哥倫比亞大學(Columbia University)研究團隊評估 149 個已編譯 GPU 核心程式實例,並證明其中 83 個符合 Lean 規格;研究也在 6 個函式庫中發現 38 項正確性問題。

CertiK 在 20 日發布的官方公告中公布 TensorLean 研究結果。這項研究著重以形式化驗證確認實際 AI 運算程式碼的正確性。

GPU 核心程式是在圖形處理器上執行特定運算的小型程式,負責大型語言模型訓練與生成回覆所需的運算。

149 是受評估的已編譯核心程式實例數,83 是經證明符合 Lean 規格的實例數;38 則是從函式庫中找出的正確性問題數,並非未通過規格的實例數。

研究團隊在深度求索(DeepSeek)的 DeepGEMM 中發現 2 項問題,在 FlashAttention 中發現 23 項。兩個函式庫共發現 25 項問題,占全部 38 項的一部分。

一般測試會執行開發者挑選的輸入案例,檢查是否出現問題。但未納入測試的輸入大小或執行條件,也可能觸發錯誤。

形式化驗證會先把程式應完成的運算、適用條件與容許誤差寫成數學要求,再證明程式碼符合要求。這次研究團隊以 Lean 規格描述這些要求。

證明成立,表示在規格列明的條件下,所有輸入與執行情境都能滿足核心程式的要求。這項保證只適用於驗證涵蓋的範圍與條件。

AI 運算程式碼有時會調整資料的記憶體配置與 GPU 工作分配,以提升處理速度;也會採用資料搬移與運算重疊執行,或使用較低精度的運算等最佳化方式。

本刊先前報導過一項 GPU 核心程式最佳化實驗,該研究的效能結果會因預算條件而異。這次 TensorLean 研究著重證明最佳化程式碼的運算正確性,並未比較效能提升幅度。

TensorLean 直接驗證 GPU 編譯程式所使用的 PTX 表示形式。研究團隊藉此確認納入效能最佳化的實際實作,是否符合既定運算規格。

研究團隊以 Lean 撰寫證明,讓機器能逐步檢查每個步驟,並用這套方法評估跨越多個 GPU 架構世代的核心程式。

這次結果適用於個別運算程式碼,並未證明整個 AI 模型的效能或回答內容的真實性。

CertiK以假設情境為例,若在一筆 1 億美元(約 1,331 億韓元)的 AI 訓練中,必須重新執行 1% 的運算,可能會增加 100 萬美元(約 13 億 3,100 萬韓元)的運算成本。這不是導入 TensorLean 後實際節省的金額,而是用來說明計算錯誤可能造成的成本。

程式碼最佳化後,仍可重新確認新實作是否符合既有要求。若計算目標與前提相同,便可重用規格;若輸入條件或容許誤差改變,就需要調整規格。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1