Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

13款模型可跑在超微(AMD)GPU上,預覽後端仍需NPU

筆電螢幕上顯示的本機 AI 模型執行視窗(示意照片)/ TokenPost.ai

開源推論工具 FastFlowLM 在 v1.0.13 版本新增名為「oga-hipep」的後端,可在超微(AMD)(AMD)的「GPU」上執行 AI 模型。Windows 用戶能用 GPU 跑 13 款模型,但有個前提:裝置上仍須有「NPU」。

FastFlowLM 開發團隊在 GitHub 的 v1.0.13 版本發布說明中表示,除了 NPU,現在也能在 AMD GPU 上執行模型。新後端採用 ONNX Runtime GenAI 與 AMD 的 hip-ep 執行環境,並已納入標準的 Windows ZIP 與 MSI 安裝包。

GPU 版模型的標籤以「-oga-hipep」結尾。用戶可透過 flm run 與 flm serve 指令執行模型或開啟本機伺服器。第一次執行這兩個指令時,系統會在使用者設定檔中安裝約 137MiB 的 hip-ep 執行環境。

支援的模型共 13 款,從 gemma3-oga-hipep:4b 到 qwen3.8-flash-next-oga-hipep:125b-a6b。下載容量落差不小,從 4.4GB 到 124.0GB 都有。其中 125B 模型需要約 78GiB 的 GPU 記憶體。

限制也很明確,共有四點:△僅支援 Windows,不支援 Linux 與 HRX 建置。△主機必須配備 NPU,只有 GPU 的裝置無法運作。△Gemma 與 GPT-OSS 的 GPU 版模型僅支援文字,發布說明指出,若對 Gemma 傳送圖片或音訊,會回傳 HTTP 400。△gemma4-it-oga-hipep:12b 在收到工具執行結果後,可能於回應階段失敗。

效能方面,發布說明列出的是自家測試數據。在 Ryzen AI MAX+ 395 上,qwen3.5-oga-hipep:9b 的解碼速度約為每秒 36 個 token,預填(prefill)速度約為每秒 1,150 個 token。qwen3.8-flash-next-oga-hipep:125b-a6b 的解碼速度則約為每秒 34.5 個 token。

FastFlowLM 過去主要以 AMD Ryzen AI 的 NPU 為核心來執行模型。其開發團隊已於 7 月 17 日加入 AMD。GitHub 儲存庫位於 ROCm/FastFlowLM 路徑,看來是在 AMD 的 ROCm 專案下開發。AMD 先前也公開過將 8 顆 GPU 整合進單一節點來運行模型的執行配置。

對於這次動向,remio.ai 認為,AMD 延攬 FastFlowLM 團隊,並不足以證明其速度勝過所有競爭對手的執行環境。該媒體也指出,專案公布的效能數據有不少屬於自家測試結果。這項 GPU 功能目前仍是「預覽」階段,開發團隊提醒,後續版本中的模型標籤、選項與行為都可能調整。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1