OpenEnvision於10日公布世界模型評測基礎設施WorldFoundry的技術報告。論文摘要列出270個模型項目、74項基準測試及62項已登錄指標。
OpenEnvision在官方儲存庫公告中宣布報告公開。論文頁面顯示,論文於11月7日提交;儲存庫紀錄則顯示,程式碼早在7月11日就已公開。
這次公布的不是新世界模型,而是整理既有基礎設施的組成與評測原則。WorldFoundry提供工作流程,讓使用者能執行多種生成式世界模型並評估結果。
使用者可搜尋模型與基準測試,準備所需的執行環境及素材,再執行推論、管理生成結果並進行評測。
平台也提供命令列、終端機介面與瀏覽器工作空間,這些工具採用相同的請求與結果格式。
生成結果會保存成紀錄,以便用於相容的評測。系統可保存並視覺化影片、3D結構及行為紀錄等資料。
生成與評測可在不同環境中執行。評分表會列出結果的證據來源、評測範圍,以及阻礙執行的條件。
報告將世界模型定義為能持續維持環境狀態,並依據行動或介入更新狀態、產生時間上連貫結果的系統。這項定義可用來區分單純生成場景的模型。
影片看起來逼真,並不足以判斷物體狀態能否持續維持,或環境是否會依使用者行動改變。報告指出,視覺真實度與互動能力應分開驗證。
WorldFoundry涵蓋影片、3D與4D、具身行為及互動式世界系統,並以共同工作流程整合這些領域的推論與評測。
不過,平台不會對所有模型套用相同的輸入與評測程序。各領域的轉接器會保留模型專屬的輸入、執行方式、輸出格式及評測程序。
目錄會分別標示模型完成登錄與實際準備好執行的階段,也會區分已確認執行結果,以及已取得基準測試分數依據的階段。
從外部取得的分數不會自動被視為等同於官方排行榜結果。因此,目錄中的模型項目數不代表已完成性能驗證的模型數量。
不同資料來源的統計數字並不一致。論文摘要列出270個模型項目、74項基準測試及62項已登錄指標;官方文件首頁則顯示275個模型項目及74項可瀏覽的基準測試。各項統計的基準時間,以及模型數量不同的原因,均未公開。
公開程式碼採用Apache License 2.0。納入或修改的其他專案元件可能適用不同授權;模型權重、資料集與API金鑰則未包含在儲存庫中。
基本整合環境需要Linux、支援NVIDIA CUDA的GPU、支援CUDA 12.8以上版本的驅動程式,以及Git與Conda。所需GPU記憶體與其他執行環境則依模型而異。
Comment 0