李飛飛：World Labs這樣實現「空間智能」

來源：機器之心報道編輯：澤南、陳陳遵循世界的 3D 特性，很多事就會變得自然而然。說到斯坦福大學教授李飛飛（Fei-Fei Li），她提倡的「空間智能」最近正在引領 AI 發展方向。李飛飛已經在人工智能歷史上贏得了一席之地，她多年來一直致力于創建 ImageNet 數據集和競賽，在深度學習中發揮了重要作用。2012 年，一個名為 AlexNet 的神經網絡引爆了 AI 研究界，它的表現遠遠超過所有其他類型的模型，并贏得了當年的 ImageNet 競賽。自那時起，神經網絡開始騰飛，其動力來自互聯網上可用的大量免費訓練數據和提供空前計算能力的 GPU。自 ImageNet 以來的 13 年里，計算機視覺研究者們掌握了物體識別，并轉向圖像和視頻生成。李飛飛與他人共同創辦了斯坦福大學以人為本人工智能研究所 (HAI)，并繼續突破計算機視覺的界限。就在今年，她創辦了一家初創公司 World Labs，旨在生成用戶可以探索的 3D 場景。World Labs 致力于為人工智能提供「空間智能」，即生成、推理和與三維世界互動的能力。李飛飛昨天在人工智能頂會 NeurIPS 上發表了主題演講，講述了她對機器視覺的愿景。她表示，非常榮幸第一次在 NeurIPS 上演講，50 分鐘講 180 頁 PPT 是個很有趣的經歷。在演講之前，李飛飛接受了 IEEE Spectrum 的獨家采訪，讓我們看看她對空間智能有哪些新的見解：Eliza Strickland：你為什么把你的演講命名為「提升視覺智能的階梯（Ascending the Ladder of Visual Intelligence）？」李飛飛：智能具有不同層次的復雜性和精細度。在這次演講中我想傳達的是，在過去幾十年，尤其是深度學習發生變革的十多年里，我們在視覺智能方面學會做的事情簡直令人嘆為觀止。我們正在變得越來越擅長使用這項技術。同時，我也受到了 Judea Pearl 因果階梯理論的啟發，這一理論出自他 2020 年出版的書《The Book of Why》。演講還有一個副標題，即「從看到做到（From Seeing to Doing）」。這是人們沒有足夠重視的一點：從看到與交互和做事緊密相關，無論是對于動物還是對于 AI 智能體來說都是如此。這與語言背道而馳。語言從根本上來說是一種用來傳達思想的交流工具。在我看來，它們是非常互補但同樣深刻的智能模式。Eliza Strickland：你的意思是我們對某些視覺有本能的反應嗎？李飛飛：我不僅僅是在談論本能。如果你觀察感知的演變和動物智能的演變，你會發現它們是深深交織在一起的。每當我們能夠從環境中獲取更多信息時，進化的力量就會推動事物能力和智能向前發展。如果你不能感知環境，你與世界的關系就非常被動；無論你是捕食者還是被捕食者，都是一個非常被動的行為。但是一旦你能夠通過感知從環境中獲取線索，進化的壓迫感就會增加，這推動了智能的發展。Eliza Strickland：你認為這就是我們創造越來越深層次的機器智能的方式嗎？通過讓機器更多地感知環境？李飛飛：我不確定「深度」這個詞是不是我該用的形容詞。我認為我們正在創造更多的能力。我認為它將變得更加復雜，更有能力。解決空間智能問題確實是朝著全面智能（full-scale intelligence）邁出的一個基本且關鍵的步驟，這是絕對正確的。Eliza Strickland：我看到過 World Labs 的演示。你為什么想研究空間智能并構建這些 3D 世界。李飛飛：我認為空間智能是視覺智能的發展方向。如果我們真的想要解決視覺問題，并且將其與行動聯系起來，有一個非常簡單、顯而易見的事實：世界是三維的。我們不是生活在一個平面世界中。我們的物理智能體，無論是機器人還是設備，都將生活在三維世界中。即使是虛擬世界也越來越變得三維化。如果你和藝術家、游戲開發者、設計師、建筑師、醫生交談，即使他們在虛擬世界中工作，很多內容也是三維的。如果你花一點時間認識到這個簡單但深刻的事實，毫無疑問，解決 3D 智能的問題是根本性的。Eliza Strickland：我很好奇 World Labs 中的場景是如何保持物體永久性并遵守物理定律的。這感覺像是一個令人興奮的進步，因為像 Sora 這樣的視頻生成工具仍然在處理這些事情。李飛飛：一旦你遵循世界的 3D 特性，很多事情就會變得自然而然。例如，在我們發布的一段視頻中，有一個關于籃球的視頻。由于場景是 3D 的，籃球會根據重力或其他物理規則正確落地并與環境交互。如果場景只是由 2D 像素生成的，籃球不會有任何物理反應，無法表現出落地或的效果。Eliza Strickland：就像 Sora，球可能會去某個地方，然后消失。在推動這項技術發展的過程中，你面臨的最大技術挑戰是什么？李飛飛：沒有人解決了這個問題，對吧？這非常非常困難。在一個 demo 中，我們取了一幅梵高的畫作，并圍繞它生成了整個場景，風格一致：藝術風格、光線，甚至是那個街區會有什么樣的建筑。如果你轉過身來看到的是摩天大樓，那將完全不可信，對吧？而且它必須是三維的。你必須能夠進入其中。所以它不僅僅是像素。Eliza Strickland：你能說說你用來訓練它的數據嗎？李飛飛：非常多。Eliza Strickland：在算力方面是否存在很多挑戰？李飛飛：這需要大量的算力。是公共部門無法承擔的那種計算能力。這也是我需要通過休學術假，以部門的方式來做這件事的部分原因。同時，這也是我一直倡導公共部門獲得計算資源訪問權的部分原因，我自己的經歷強調了在足夠資源支持下進行創新的重要性。Eliza Strickland：賦予公共部門權力是一件好事，因為公共部門通常更愿意通過獲取知識，為人類謀福利。李飛飛：知識發現需要資源支持，對吧？在伽利略時代，最好的望遠鏡是讓天文學家觀察新天體的望遠鏡。Hooke 意識到放大鏡可以變成顯微鏡，并發現了細胞。每當有新的技術工具出現時，它都會幫助人們尋求知識。現在，在人工智能時代，技術工具涉及計算和數據。對于公共部門，我們必須認識到這一點。Eliza Strickland：你希望提供哪些資源？李飛飛：過去五年來，斯坦福大學 HAI 一直在做這項工作。我們一直在與國會、參議院、白宮、行業和其他大學合作，創建國家人工智能研究資源中心 (NAIRR)。Eliza Strickland：假設我們能讓人工智能系統真正理解 3D 世界，這會給我們帶來什么？李飛飛：它將為人們釋放大量創造力和生產力。我希望以更高效的方式設計我的房子。我知道許多醫療用途都涉及理解一個非常特殊的 3D 世界，即人體。我們總是談論未來人類將創造機器人來幫助我們，但機器人在 3D 世界中導航，它們需要空間智能作為大腦的一部分。我們還談論虛擬世界，它將允許人們參觀很多地方、學習概念或娛樂。這些都要使用 3D 技術，尤其是混合現實技術，我們稱之為 AR [增強現實]。我很想戴著一副眼鏡穿過國家公園，它能讓我了解樹木、道路、云朵的信息。我也想借助空間智能學習不同的技能。Eliza Strickland：會是什么樣的技能？李飛飛：我舉個蹩腳的例子，如果我在高速公路上爆胎了，我該怎么辦？現在，我打開一個「如何換輪胎」的視頻。但如果我能戴上眼鏡，看看我的車發生了什么，然后得到指導，那就太酷了。但這是一個蹩腳的例子。你可以考慮烹飪，你可以考慮雕刻 —— 有趣的事情。Eliza Strickland：你認為（這個方向）在我們這一代能走多遠？李飛飛：我認為這會是我們有生之年的事，因為技術進步的速度非常快。你已經看到了過去 10 年帶來的變化。這肯定預示著接下來會發生什么。參考內容：https://spectrum.ieee.org/fei-fei-li-world-labshttps://x.com/drfeifei/status/1867286498086990325閱讀報告全文，請訪問歐米伽研究所的“未來知識庫”https://wx.zsxq.com/group/454854145828未來知識庫是“歐米伽未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。截止到11月25日 ”未來知識庫”精選的100部前沿科技趨勢報告Air Street Capital《2024 年人工智能現狀報告》未來今日研究所：2024 技術趨勢報告 – 廣義計算篇科睿唯安中國科學院 2024 研究前沿熱度指數報告文本到圖像合成：十年回顧《以人為中心的大型語言模型（LLM）研究綜述》經合組織 2024 年數字經濟展望報告加強連通性創新與信任第二版波士頓咨詢 2024 全球經濟體 AI 成熟度矩陣報告理解世界還是預測未來？世界模型的綜合綜述Google Cloud CSA2024 AI 與安全狀況調研報告英國制造商組織 MakeUK2024 英國工業戰略愿景報告從概念到實施花旗銀行 CitiGPS2024 自然環境可持續發展新前沿研究報告國際原子能機構 2024 聚變關鍵要素報告 – 聚變能發展的共同愿景國際可再生能源署 IRENA2024 年全球氣候行動報告Cell: 物理學和化學 、人工智能知識領域的融合智次方 2025 中國 5G 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 移動性，機器人與無人機篇Deepmind：AI 加速科學創新發現的黃金時代報告PitchBookNVCA2024 年第三季度全球風險投資監測報告德科 2024 年未來全球勞動力報告高工咨詢 2024 年協作機器人產業發展藍皮書國際能源署 IEA2024 年全球能源效率報告基因慧基因行業藍皮書 2024 – 2025普華永道 PwC2024 全球經濟犯罪調查英國報告 – 智對風險直面挑戰中國互聯網協會 2024 面向未來網絡的數字孿生城市場景應用白皮書中移智庫 2024 先進感知新技術及新應用白皮書智次方研究院 2025 中國 AIoT 產業全景圖譜報告未來今日研究所：2024 技術趨勢報告 – 人工智能篇國際電聯：邁向衡量數字經濟的通用框架的路線圖聯合國糧食與農業組織：2024 年世界糧食安全和營養狀況大語言模型綜述李飛飛等，AI 智能體：探索多模式交互的前景綜述哈爾濱工業大學 – ChatGPT 調研報告2024《美國核部署戰略報告》最新文件清華大學：AIGC 發展研究 3.0 發布版 b 版OpenAI：2024 年 OpenAI o1 大模型技術報告Verizon2024 年世界支付安全報告皇家學會哲學學報 從復雜系統角度評估人工智能風險復旦大學 大模型 AI 代理的興起和潛力：綜述經合組織 OECD2024 年氣候行動監測報告Wevolver2024 年邊緣人工智能現狀報告 – 探索各行業邊緣 AI 應用動態2024 全球人形機器人產品數據庫報告 – 人形機器人洞察研究 BTIResearch《全球金融穩定報告》 把舵定航 不確定性、人工智能與金融穩定瑞士洛桑聯邦理工學院 《人工智能中的 – 創造力：進展與挑戰》《你所需要知道的理 – 論：人工智能、人類認知與決策》牛津大學最新 53 頁報告世界經濟論壇 新興技術時代的網絡彈性導航：應對復雜挑戰的協作解決方案 2024ADL 理特咨詢 2024 汽車出行未來展望報告2024 中國硬科技創新發展白皮書 – 開辟未來產業新賽道科學時代的大語言模型中的人工智能Gartner2025 年重要戰略技術趨勢報告CBInsights2024 年第三季度全球人工智能投融資狀況報告TrendHunter2025 年全球趨勢報告 – 全行業頂級創新和變革趨勢前瞻天津大學 2024 大模型輕量化技術研究報告歐洲海洋局 2024 導航未來報告將海洋置于更廣泛的地球系統中第六版美國安全與新興技術中心 2024 AI 生成代碼的網絡安全風險研究報告國際原子能機構 2024 年世界聚變展望報告復旦大學 2024 大語言模型的能力邊界與發展思考報告安盛 AXA2024 年氣候與生物多樣性報告氣候過渡計劃路線圖YouGov2024 美國公眾對人工智能 AI 的態度調研報告麥肯錫中國報告：《中國與世界》完整版麥肯錫全球研究所 2024 下一代競技場報告 – 重塑全球經濟的 18 個新興行業領域Project Sid，一個旨在模擬多智能體交互以研究 AI 文明的項目德國研究與創新專家委員會 德國研究創新與科技成果報告2024 年歐洲關鍵產業的科技重塑研究報告智能體專題報告之二 – 智能體時代來臨具身智能有望成為最佳載體ActivateConsulting 2025 年頂級技術和媒體發展趨勢報告蘭德 全球災難風險評估斯坦福李飛飛 《AI agent 綜述》Agent AI 開啟多模態交互新紀元中國聯通研究院 2024 中國生成式人工智能應用與實踐展望白皮書中文版普華永道 2024 第五次工業研究報告邁向彈性可持續和以人為本的未來大成 Dentsons2024 年全球智慧城市與互聯社區智庫年度報告TechUK2024 量子技術挑戰與機遇并存構筑量子韌性的策略與實踐研究報告Emakina 將塑造 2024 年的技術趨勢報告圖靈獎得主 Yann LeCun《機器如何才能達到人類智能水平？》——Yann LeCun， 附 Slides 及視頻華為：2024 鴻蒙生態應用開發白皮書 V3.0（最新版）CASA：2023 第三代半導體產業發展報告大型視覺語言模型中幻覺現象的綜述IEA PVPS：2024 光伏應用趨勢報告（英文版）ABI Research：82 個將會或不會在 2024 年發生的技術趨勢白皮書《美國反無人機系統未來趨勢報告（2024 – 2029 年）》《軍事自主系統：未來之路》美空間智能如何？牛津大學博士論文《深度具身智能體的空間推理與規劃》2024 低空經濟場景白皮書 v1.0戰略與國際研究中心（CSIS）人類地月空間探索的總體狀況研究報告（2024）Artificial Intelligence Review：人工智能與物理學相遇的綜述麥肯錫：全球難題，應對能源轉型的現實問題歐米伽理論，智能科學視野下的萬物理論新探索（研究論文）Gartner 2025 年主要戰略技術趨勢研究報告2024 人工智能國外大模型使用手冊 + 中文大模型使用手冊詳解光刻巨人 ASML 成功之奧妙 – 241015CB Insights：未來變革者：2025 年九大科技趨勢研究報告國際電信聯盟 2023 – 2024 年聯合國人工智能 AI 活動報告《人工智能能力的人類系統集成測試和評估》最新 51 頁，美國防部首席數字和人工智能辦公室（CDAO）2024 瑞典皇家科學院諾貝爾化學獎官方成果介紹報告MHP 2024 全球工業 4.0 晴雨表白皮書世界經濟論壇白皮書《AI 價值洞察：引導人工智能實現人類共同目標》瑞典皇家科學院諾貝爾物理學獎科學背景報告資料AI 智能體的崛起：整合人工智能、區塊鏈技術與量子計算 (研究報告，書）OpenAI o1 評估：AGI 的機遇和挑戰（280 頁）世界知識產權組織：2024 年全球創新指數美國白宮：國家近地天體防御策略與行動計劃上下滑動查看更多