Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

超過100個代理式AI應用與工作流程首度支援超微(AMD) XDNA 2 NPU

展示本機推論的筆電與 NPU 開發板 / TokenPost.ai

超微(AMD)與 Unsloth 19日宣布,已在 Unsloth Desktop 新增 AMD XDNA 2 神經網路處理器(NPU)支援,讓合計超過100個代理式人工智慧(AI)應用程式與工作流程,可透過相容於 OpenAI 的 API 連接至以 NPU 為基礎的本機推論。

AMD在官方公告中表示,XDNA 2 NPU 是 Unsloth Desktop 首個獲支援的 NPU。這裡的「全球首例」是指該應用程式的支援範圍,並不代表 NPU 本機推論技術整體首度出現。Lemonade 與 FastFlowLM 負責模型服務與推論,CPU 與 GPU 則留給代理程式處理其他工作。

支援連接的工具包括 Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain 和 GitHub Copilot。AMD 技術部落格也列出 OMP 與 Visual Studio Code 作為示例。

AMD公開示範以 Unsloth Desktop 與 FastFlowLM,在 XDNA 2 NPU 上執行 Qwen3.6 35B-A3B 混合專家模型。使用完整上下文時,NPU記憶體約需28GB;在 Windows 預設共用記憶體設定下,建議系統 RAM 為64GB。64GB並非必要條件,而是建議規格。

支援裝置包括 AMD Ryzen AI 300(Strix Point、Krackan Point)、Ryzen AI Max(Strix Halo)、Ryzen AI 400(Gorgon Point)系列,以及 XDNA 2 以上的 NPU。作業系統支援 Windows 11 與 Linux x64。Linux 需在核心7.0以上使用 amdxdna 驅動程式,舊版核心則使用 amdxdna-dkms;同時需要最新 NPU 韌體,並將 memlock 設為無限制。

NPU 模型採用 FastFlowLM 的4位元 Q4NX 格式。一般 GGUF 模型無法直接在 NPU 上執行,必須先轉換為支援的 Q4NX 格式。

Unsloth文件將 Qwen3.6-35B-A3B-NPU2 模型大小列為20.6GB,建議系統 RAM 為64GB。AMD則說明,執行完整上下文約需28GB NPU記憶體;兩組數據分別代表模型大小與執行時的記憶體需求。

同一份表格列出每秒17.2個 token 的處理速度,以及3.13秒的首個 token 延遲時間。由於測試環境未詳細公開,無法僅憑這些數據直接比較其他模型或 GPU 的效能。

Unsloth表示,NPU每生成一個 token 可能比既有 GPU 少用2至4倍能源。這是開發商說法,尚未經獨立基準測試驗證。

AMD將 XDNA 解釋為運用 AI Engine tile 與晶片上記憶體、以減少快取存取的空間資料流 NPU 架構。NPU的定位不是取代 GPU,而是負責本機推論,讓 CPU 與 GPU 留給其他工作。

實際體感效能與能源效率可能受模型格式、記憶體容量、上下文長度及電源模式影響。Q4NX轉換與大型模型的記憶體頻寬,也可能改變執行條件。

部分 Reddit 使用者對能源效率與支援裝置表示正面反應;也有人詢問與整合式 GPU 的速度比較、XDNA 1 支援,以及大型模型可能出現的記憶體頻寬瓶頸。

有使用者分享在同一系統比較 NPU 與整合式 GPU token 處理速度的案例,但也自稱是「非常粗略的比較」。這類非官方數據應與正式效能指標分開看待。

這次發表是 Unsloth 7月在 AMD Radeon、Instinct 與 Ryzen GPU 上支援模型訓練與推論合作的延伸。本報先前報導,韓國科學技術情報通信部與 AMD 曾討論把 CPU、GPU 與韓國國產 NPU 串聯的 AI 運算基礎設施方案。

Phoronix報導,其事前向 AMD 確認後得知,這項功能不只可在 Windows 執行,也能在 Linux build 上運作。目前官方支援範圍為 XDNA 2 以上;XDNA 1 是否支援及其時程尚未確認。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1