蘋果(Apple,$AAPL)據傳正在開發一款名為 Harbor 的 App,可在搭載蘋果晶片的 Mac 上執行與管理開放權重 AI 模型,並透過 Thunderbolt 5 連接多台 Mac。
9to5Mac 於 11 月 10 日報導,根據爆料者公開的 App 說明,Harbor 可將 Mac 變成本機 AI 推論伺服器,讓使用者搜尋、下載、執行及管理模型。
App 說明也提到,輸入資料會留在 Mac 上處理,不會傳送至雲端。模型執行所需的工作都在裝置內完成。
開放權重模型是指已公開訓練參數、可供使用者下載和執行的 AI 模型。Harbor 據稱著重於讓使用者在 Mac 上搜尋、執行和管理這類模型。
連接兩台以上支援 Thunderbolt 5 的 Mac 後,App 據稱會自動偵測裝置、組成工作叢集,並共同使用各台裝置的統一記憶體。這套配置可用於執行超出單台 Mac 記憶體容量的模型,或同時處理更多請求;這兩種用途都列在 App 說明中。
裝置連線與叢集設定據稱可直接在 App 中完成,不必另外手動設定或輸入指令,可減少使用者逐台設定 Mac 的步驟。
推論是完成訓練的 AI 模型接收輸入並產生結果的過程。Harbor 被介紹為用來在 Mac 上執行既有模型的 App,而非訓練新模型。
蘋果先前已公布將多台 Mac 的資源整合使用的技術。蘋果於 8 月 25 日發布的 Mac Studio 新品公告中,說明可透過 Thunderbolt 5 和 RDMA 連接多台裝置並共享記憶體資源。
蘋果表示,在連接四台 Mac Studio 的測試中,AI 推論速度最高可達單台裝置的 3 倍。這項數據來自該 Mac Studio 連接配置的測試,並非 Harbor 的效能測試結果。
RDMA 是一種讓裝置彼此傳輸資料的通訊技術。蘋果將其用於整合多台 Mac 記憶體資源的分散式工作。
蘋果在 10 月 15 日發布的 MLX 技術報告中,也說明如何將單台 Mac 難以容納的大型模型分配至多台 Mac Studio。各裝置負責模型的一部分,再透過 Thunderbolt 連線交換運算結果。
報告也談到裝置間通訊帶來的負擔。多台 Mac 連線後的效能,可能因模型和工作方式而有所不同。
蘋果開發者資料指出,從 macOS 26.2 起,搭載蘋果晶片與 Thunderbolt 5 的 Mac 之間將支援 RDMA 通訊。蘋果公布的 MLX 使用案例則透過指令和裝置設定檔啟動分散式工作。
TokenPost先前曾報導 WWDC26 論壇中介紹的架構:本機模型透過標準 API 提供服務,再由開發工具呼叫。這次 Harbor 的相關報導則介紹一款可搜尋、執行公開模型並連接多台 Mac 的 App。
Harbor 據稱正以蘋果旗下軟體公司克拉里斯(Claris)的名義進行非公開預覽,目前尚未公布正式推出日期。
Comment 0