Cosmos

Cosmos – 英偉達推出的生成式世界基礎模型平臺

Cosmos是什么

Cosmos是英偉達推出的一款生成式世界基礎模型平臺，旨在推動物理人工智能（AI）系統的發展，尤其在自動駕駛和機器人領域。它能夠接受用戶提供的文本、圖像或視頻提示，生成逼真的虛擬世界狀態，為自動駕駛和機器人應用提供獨特的視頻輸出。該平臺集成了生成式世界基礎模型、高級標記器和加速視頻處理管道，幫助開發者創造出豐富的基于物理的合成數據，顯著減少對真實數據的依賴。此外，Cosmos還具備安全防護機制，確保數據的安全與合規，開發者可以通過微調Cosmos模型，打造符合特定應用需求的定制AI模型。

Cosmos的主要功能

• 虛擬世界狀態生成：Cosmos能夠根據文本、圖像或視頻的提示，生成高度仿真的虛擬世界狀態，特別適用于自動駕駛和機器人應用。
• 生成式模型：該平臺利用生成式模型快速生成與真實場景相似的數據，幫助開發者有效訓練和評估現有的AI模型。
• 高級標記器與數據處理：Cosmos集成了高級標記器和加速視頻處理管道，使生成的數據在后續模型訓練中發揮更大作用。
• 安全與合規：平臺提供安全防護機制，確保數據在使用過程中的安全性和合規性。
• 開放模型許可：Cosmos將以開放模型許可的形式在Hugging Face和NVIDIA NGC目錄中發布，支持開發者進行定制化應用。

Cosmos的技術原理

• 生成式世界基礎模型（WFM）：Cosmos使用最先進的生成式模型技術，包括擴散模型和自回歸Transformer模型，能夠生成與現實世界場景高度相似的合成數據。
• 高級標記器（Cosmos Tokenizer）：該標記器采用復雜的編碼器-解碼器結構，結合3D因果卷積和注意力機制，有效處理時空信息，將圖像和視頻轉化為高壓縮率的高質量標記，為AI模型提供更高效的視覺數據。
• 加速視頻處理管道（NeMo Curator）：Cosmos具備一個加速視頻處理管道，可以在較短時間內處理大量視頻數據，例如，NeMo Curator在14天內處理2000萬小時的視頻數據。

Cosmos的模型系列

Nano模型

• 特點：適合低延遲和實時應用。
• 參數規模：約40億參數。
• 應用場景：理想用于需要快速響應的應用，如實時視頻分析和基礎機器人控制任務。

Super模型

• 特點：提供高性能基準。
• 參數規模：約70億參數。
• 應用場景：適合需要較高性能和精度的應用，例如自動駕駛車輛的環境感知與決策支持，以及復雜機器人任務的模擬和訓練。

Ultra模型

• 特點：追求極致的質量與精確度。
• 參數規模：約140億參數。
• 應用場景：專為對精度和質量要求極高的應用設計，如高精度的自動駕駛模擬、復雜的工業機器人操作等。

Cosmos的項目地址

• 項目官網：https://research.nvidia.com/publication/2025-01_cosmos
• Github倉庫：https://github.com/NVIDIA/Cosmos
• HuggingFace模型庫：https://huggingface.co/collections/nvidia/cosmos
• 技術論文：https://d1qx31qr3h6wln.cloudfront.net/publications/NVIDIA%20Cosmos

Cosmos的應用場景

• 駕駛環境模擬：Cosmos能夠生成在不同天氣和路況下的合成數據，為自動駕駛系統的訓練提供多樣化的場景。
• 策略模型優化：通過生成真實感極強的駕駛場景，Cosmos協助自動駕駛系統在模擬環境中進行強化學習，優化決策策略并測試在不同場景下的表現。
• 復雜環境適應性訓練：Cosmos為機器人提供復雜環境的實時模擬，幫助其感知系統通過合成數據進行訓練。
• 導航與任務執行：基于Cosmos生成的虛擬世界狀態，機器人可以更準確地理解和適應周圍環境，從而實現精確的導航和任務執行。
• 逼真場景生成：Cosmos能夠創建高度真實的虛擬世界狀態，適合于虛擬現實游戲和仿真訓練。開發者可以使用Omniverse創建三維場景，通過Cosmos將其轉化為逼真的環境，供機器人在模擬中進行訓練。
• 工業數字孿生：結合NVIDIA的Omniverse與Cosmos，可以構建工業數字孿生環境，用于工廠和倉庫的模擬、測試與優化，從而在復雜的生產設施和配送網絡中提升設計、操作及優化能力。

Cosmos的應用案例

• Uber自動駕駛開發：Uber作為首批采用Cosmos的平臺之一，借助生成式AI的能力，加速了安全且可擴展的自動駕駛解決方案的研發，為其自動駕駛系統提供豐富的合成數據，幫助其在不同駕駛場景中進行模型訓練和優化，從而提升自動駕駛技術的安全性和可靠性。
• 小鵬汽車模擬訓練：小鵬汽車利用Cosmos平臺生成多樣化的合成駕駛數據，以進行自動駕駛算法的模擬訓練。在模擬雨雪、霧霾等惡劣天氣及城市道路、高速公路等不同路況的場景中，自動駕駛系統得以學習如何更好地感知環境、做出決策和執行操作，從而提高算法在真實街景中的表現。
• 1X機器人動態規劃：1X公司利用Cosmos的仿真引擎，為機器人提供高保真的力學、學和動態交互建模能力。通過閉環模擬，1X的機器人能夠在虛擬環境中進行動態規劃與環境適應性優化，從而在實際應用中實現更精確的導航和任務執行。