Mesh LLM公開網路已連結217個節點 展開分散式AI推論實驗

Mesh LLM（Mesh LLM）正在營運一個公開的「網狀網路」，把不同裝置的GPU與記憶體整合起來，用於處理大型AI模型的推論工作。截至28日台灣時間，穩定版本為v0.75.1，公開網路的示範頁面顯示目前有217個節點（peer）連上。

Mesh LLM是一套「分散式推論」系統，把多個節點的運算資源整合成單一個相容於OpenAI的服務介面。使用者送出的請求可以在本機裝置上處理，也可能被導向持有對應模型的其他節點；若模型太大、單一裝置裝不下，系統就會把工作拆給多台機器分頭執行。

這套系統的支援範圍並不侷限於輝達(NVDA)的GPU。根據官方文件，除了輝達的CUDA之外，超微(AMD)的ROCm、Vulkan、CPU，甚至蘋果(AAPL)的Metal都在支援清單內。

官方網站截至28日台灣時間顯示的穩定版本同樣是v0.75.1。翻查GitHub的發布紀錄可以看到，v0.75.1其實在8月10日就已經釋出，之後還有v0.76.0系列的搶先版本上架。

公開網路目前顯示的217個節點，可以當作觀察網路規模的一個參考數字。不過這比較接近即時顯示的數值，不宜直接解讀成固定用戶數或商業服務的實際規模。

整套架構的核心概念，是不用另外添購昂貴的大型GPU，而是把手邊已有的裝置串在一起使用。開發團隊Iroh在7月11日的部落格文章中說明，Mesh LLM會依情況採用三種處理方式：本機執行、節點路由，以及跨節點的管線切分。

公開網路在節點探索與連線上，同樣採用去中心化設計。官方設計文件提到，系統結合Nostr協定進行節點探索，並透過QUIC與iroh技術建立連線，讓使用者不必倚賴中央伺服器，就能組出公開或私人的網狀網路。

所謂「分散式推論」，指的是把AI模型的運算工作拆給多台裝置或節點分攤執行；而「相容於OpenAI」的介面，則代表既有的OpenAI用戶端程式，可以用同樣的呼叫格式去連接其他的推論伺服器。

評論：對加密貨幣圈的讀者而言，這件事的意義未必只是多一項AI工具上市，更接近一場「分散式基礎設施」的實驗。不依賴大型雲端業者、改用社群或團隊內部既有硬體來組建推論算力，這種思路其實與區塊鏈產業長期推崇的開放式網路邏輯相當契合。

不過，目前並沒有足夠證據顯示，這個計畫的重心會放在代幣發行或獎勵機制上。這次事件的焦點，還是在於公開網狀網路與共享運算，能否真正撐得起AI推論這種基礎設施工作，而不是加密貨幣的發行本身。

無獨有偶，Block(XYZ)旗下的Buzz計畫也在進行類似的共享運算實驗。Buzz公開的文件提到，團隊成員可以透過「Share compute」功能，把自己遊戲用電腦、筆記型電腦、工作站上閒置的GPU資源串連起來使用。

另外在開發文件與問題追蹤系統（issue tracker）當中，也能看到Mesh LLM的執行環境、診斷紀錄，以及桌面版共享運算路徑等項目。這代表Mesh LLM並非只是單一團隊的實驗性專案，未來有機會被整合進更貼近社群使用者的正式產品當中。

只是，要說這已經是成熟的商用服務，恐怕還太早。Buzz的問題追蹤系統上就曾出現回報，指出Linux桌面版一度缺少mesh-llm功能，導致共享運算無法運作；該問題後來已經被標記為結案。

Windows版本、文字模型處理，以及診斷紀錄等項目，目前也各自被列為獨立的追蹤項目持續管理。換句話說，功能雖然陸續到位，但系統穩定度與跨平台部署的驗證，仍在同步進行當中。

開發者社群對此事的關注度其實不小。駭客新聞(Hacker News)上分享Iroh部落格文章的貼文，累計拿下347點與94則留言，部分使用者也正面提到自己安裝與自動啟動的使用經驗。

這波話題，也與AI模型開放與否的討論相互呼應。本刊先前曾報導，即使AI使用成本下降，整體運算與電力需求仍可能持續攀升的分析。從這個角度看，Mesh LLM可以視為一種嘗試，把這股需求從大型雲端資料中心，進一步延伸到個人與團隊手邊的硬體裝置上。

就目前而言，Mesh LLM的意義並不在於打造一個只服務輝達GPU的專屬網路，而在於整合多家廠商硬體的通用「分散式推論」框架。至於公開網路與桌面版共享運算，未來能否在實際產品環境中維持穩定運作，還有待後續版本更新與相關整合專案的落地成果來驗證。