AMD Ryzen AI 1.9新增NPU推論期間切換LoRA適配器功能

超微(AMD)在Ryzen AI Software 1.9中新增功能，可在神經網路處理器(NPU)執行推論期間切換語言模型的LoRA適配器。目前適用於部分文字生成用Qwen系列模型。

超微在1.9版發行說明中將這項功能稱為「動態LoRA支援」。Qwen3-4B與Qwen3.5-4B同時列於發行說明及另一份LoRA指南中。

LoRA是一種模型微調技術：不必重新調整已訓練語言模型的全部權重，而是訓練小型低秩適配器，讓模型配合特定任務。基本模型維持不變，再依需求加入適配器。

超微表示，同一個基本模型可連接多個適配器，並在推論期間依使用者或任務選擇。這項設計旨在減少為不同使用情境分別保存基本模型副本的需求。

超微說明的開發流程，首先是使用Quark將基本模型量化為INT4格式。量化是將模型權重轉換成較小的表示格式，以供執行時使用。

接著，開發者以量化後的基本模型為基礎微調LoRA適配器，再透過「model_generate」工具，將基本模型與適配器編譯成供NPU執行的格式。

編譯時也要設定適配器名稱與套用強度。開始推論後，可透過「set_active_adapter()」選擇已編譯的適配器。

選擇「base」即可切回未套用適配器的基本模型。可切換的對象是預先編譯、供NPU使用的適配器。

超微指南未列出推論期間額外載入適配器檔案的步驟。LoRA最高支援秩為128，適配器套用強度則在編譯時設定。

文件未說明能否在推論期間調整適配器套用強度，也未公布切換適配器所需時間。

超微表示，使用者不必為每項任務各自保留一份基本模型，但沒有提供記憶體節省量。因此，現有說明不足以量化記憶體可減少多少。

推論速度會有何變化也尚未公布。由於沒有性能數據，目前無法據此推算記憶體節省比例或速度提升幅度。

超微硬體相容性表將語言模型執行功能(LLM·OGA)列於STX、KRK與GPT平台，並未表示所有Ryzen AI裝置都能使用這項功能。

Windows安裝指南提供Ryzen AI Software 1.9.0安裝檔及安裝路徑。本刊先前曾報導Ryzen AI Halo開發者平台瞄準本機AI開發與推論。

超微不同文件列出的Qwen2.5支援模型規模並不一致：發行說明寫為Qwen2.5-3B，另一份LoRA指南則列為Qwen-2.5-4B，因此目前難以確認確切規模。

不同公開頁面的版本標示也有差異。超微GitHub發布清單列出的最新版本為1.9.0，但開發者中心的「最新版本」標示為1.8。