Grass創辦人：AI即時資訊處理需補強區域節點

Grass（GRASS）創辦人表示，AI推論若要取得最新網路資訊，必須在需求集中的地區增加節點並縮短回應時間；訓練資料蒐集則可延後處理。

Wynd Labs共同創辦人暨執行長安德烈·拉多尼奇（Andrej Radonjic）在20日公開的《The Delphi Podcast》訪談中表示：「推論階段沒有等待的餘裕。」他指出，蒐集訓練資料與即時查詢資訊所需的時間條件不同。訪談頁面也披露，Delphi Ventures曾投資Grass，並持有Grass代幣。

Grass透過用戶同意提供的家用網路頻寬蒐集公開網路資料。用戶提供的網路連線端點稱為節點。

拉多尼奇說，部分網站難以辨識自動化存取者，因此會一律封鎖資料中心IP。Grass則透過不同地區的家用網路連線，因應這類存取限制。

訓練是蒐集資料以訓練模型的過程；推論則是模型完成訓練後回答問題或執行任務的階段。訓練資料蒐集即使遇到特定地區連線壅塞，也可以延後進行；推論時則需要查找最新資訊，才能回覆用戶。

Grass在9月28日發布的官方說明中，將訓練資料列為首項產品，並提出長期目標：讓AI即時運用全球資訊。公司表示，模型完成訓練後難以納入網路上的新資訊，並將以相同基礎設施支援推論階段的網路存取，列為下一步方向。

拉多尼奇表示，如果即時資訊請求集中在特定地區，導致當地節點飽和，就需要增加該地區的參與節點。這項瓶頸指的是需求集中的地區節點不足，並不代表整個網路都已飽和。

他說，一般AI代理每次存取網路時通常會查找5至50個頁面，進行更深入的推論時可能需要更多頁面。這是指代理蒐集脈絡資訊所需的網頁數量。

拉多尼奇介紹，Grass已推出內容API（Contents API）。用戶輸入網頁網址後，API會透過Grass網路連線取得頁面內容。

用戶可在內容API指定連線國家，並選擇以Markdown或純文字接收結果。拉多尼奇表示，這項API將網頁請求與瀏覽器處理等流程整合為一次呼叫，也包含減少模型所需Token數量的功能。

如果請求中沒有預先提供網頁網址，就需要搜尋功能。Grass將搜尋API（Search API）列為下一項產品；公司說明提出擴大網路索引的構想，讓AI模型能搜尋資訊並擷取網頁內容。

拉多尼奇表示，他過去認為推出即時資料產品需要的節點數遠高於目前規模，但基礎設施經過最佳化後，現有節點能處理的工作量超出預期，因此產品推出時程也比原先計畫提前。

回應延遲仍是持續改善的課題。拉多尼奇表示，透過全球數百萬個IP傳送網頁請求會增加耗時，團隊正設法提升速度。

本刊先前曾報導資料中心之間長距離光纖網路的擴建，探討的是資料中心間的傳輸網路；拉多尼奇此次談到的，則是存取網頁時使用的各地家用連線節點。