輝達(NVIDIA,$NVDA)公開5套Cosmos資料工廠設計藍圖,並擴充用於機器人與自駕AI開發的「世界模型」訓練、評估及部署工具。
輝達於10月21日發布的官方部落格介紹了從資料準備到模型部署的工具。世界模型可協助「實體AI」理解並模擬真實世界。
5套新藍圖涵蓋自駕資料生成、影像屬性增強、事件影片生成、瑕疵影像生成,以及影片天候與光線轉換。輝達表示,這些藍圖可透過GitHub、微軟 Azure、Nebius及CoreWeave取得。
自駕資料生成藍圖會在行車資料中加入難以捕捉情境的合成案例。瑕疵影像藍圖則生成印刷電路板、金屬及玻璃的瑕疵影像,供檢測模型訓練使用。
Cosmos框架的訓練與最佳化工具,已擴大支援Cosmos 3,以及GR00T、Alpamayo、QWEN、Pi0.5等相容的開放模型。開發者可透過微調與強化學習讓模型適應特定任務,也能運用蒸餾與量化來最佳化推論模型。
輝達也公開可用於模擬的Cosmos 3 Nano變體模型,供開發者在實際測試前,反覆評估自駕車與雙手機器人的動作策略。
部署階段可使用Cosmos 3 NIM微服務。NIM文件指出,Generator負責影像、影片生成,以及Action與Transfer任務;Reasoner負責影像與影片理解。單一容器只能執行兩種模式其中之一。
即使Cosmos 3模型系列能處理音訊資料,NIM仍不會生成音訊。Cosmos框架的服務文件列明這項限制;可用配置則視GPU與記憶體條件而定。
輝達表示,在經驗證的配置下,Cosmos 3 NIM推論速度最高提升2倍,且品質沒有下降。不過,公告未具體列出這項數據所使用的GPU、任務、比較基準與品質衡量方式。
輝達也表示,採用Cosmos NIM的Metropolis VSS 3.3,在使用相同GPU時可多處理40%的影片串流。這項數據指的是影片搜尋與摘要工具的處理量,衡量對象不同於NIM推論速度。
輝達在2026年10月21日發布的部落格「NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models」中表示,截至發布日,保時捷(Porsche)的重複實車行駛預計可減少最多90%,開發週期預計縮短最多85%。這兩項數據是預估值,並非已達成的成果。
輝達介紹,ANYbotics已生成超過1,500段合成影片。阿布達比國家石油公司(ADNOC)在65個營運據點使用Fogsphere的MistIQ平台偵測安全風險;Fogsphere則運用Cosmos資料工廠,為罕見危險情境生成合成訓練資料。
輝達於2025年1月首次公開Cosmos平台,並在2026年5月發布Cosmos 3。此次更新擴充了串連資料生成、模型訓練與最佳化,以及部署的開發工具。
8月28日發布於arXiv的預印本「RoboPhys-3D」指出,在50項機器人操作任務中,Cosmos 3的RoboPhyscore得分為0.6330,在4個比較對象影片世界模型中排名最高。
這項研究也發現,單靠視覺評估無法顯示狀態估計與任務執行中的部分失敗。該評估針對Cosmos 3模型進行,並非測量此次NIM的推論速度。
留言 0