Transformer解碼真實場景！Meta推出70M參數SceneScript模型

AIGC動態歡迎閱讀

原標題：Transformer解碼真實場景！Meta推出70M參數SceneScript模型
關鍵字：場景,編碼器,解碼器,語言,表示
文章來源：新智元
內容字數：5105字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，來自Meta的研究人員將Transformer用于解碼真實世界的場景，并轉化為幾何表示，效果超越了傳統的點云、網格或輻射場，只需70M參數，就能完成虛擬疊加現實的炫酷效果。拋棄傳統方法，只采用Transformer來解碼真實場景！
近日，來自Meta的研究人員推出了SceneScript，只需要70M參數，僅采用編碼器解碼器架構，就能將真實世界的場景轉化為幾何表示。
論文地址：https://arxiv.org/pdf/2403.13064.pdf
SceneScript是一種用于表示和推斷場景幾何圖形的方法，使用自回歸結構化語言模型和端到端學習。
SceneScript可以助力AR和AI設備理解物理空間的幾何形狀，比如下面這個演示，利用Aria眼鏡拍攝的素材，SceneScript可以獲取視覺輸入并估計場景元素（墻壁、門窗等）。
是不是感覺一下子走到了虛擬和現實的交界？
用這個技術來幫助開發AR或者MR游戲應該是妥妥的，小編表示期待地搓搓手。
再看下面這個，將SceneScript技術疊加到Meta Quest的顯示畫面上，現實世界瞬間

原文鏈接：Transformer解碼真實場景！Meta推出70M參數SceneScript模型

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。