AI變鑒片大師，星際穿越都能看懂！賈佳亞團隊新作，多模態大模型挑戰超長3小時視頻

AIGC動態歡迎閱讀

原標題：AI變鑒片大師，星際穿越都能看懂！賈佳亞團隊新作，多模態大模型挑戰超長3小時視頻

關鍵字：解讀,模型,視頻,圖像,上下文

文章來源：量子位

內容字數：5650字

內容摘要：豐色 明敏 發自 凹非寺量子位 | 公眾號 QbitAI啥？AI都能自己看電影大片了？賈佳亞團隊最新研究成果，讓大模型直接學會了處理超長視頻。丟給它一部科幻大片《星際穿越》（片長2小時49分鐘）：它“看”完之后，不僅能結合電影情節和人物輕松對電影進行點評：還能很精準地回答出劇中所涉的細節：例如：蟲洞的作用和創造者是誰？答：未來的智慧生物放置在土星附近，用于幫助人類進行遠距離星際穿越。男主庫珀是如何將黑洞中的信息傳遞給女兒墨菲？答：通過手表以摩斯密碼的方式傳遞數據。啊這，感覺電影博主的飯碗也要被AI搶走了。這就是最新多模態大模型LLaMA-VID，它支持單圖、短視頻和長視頻三種輸入。對比來看，包括GPT-4V等在內的同類模型基本只能處理圖像。而背后原理更有看頭。據介紹，LLaMA-VID只通過一個非常簡單的辦法就達成了如上能力，那就是：把表示每一幀圖像的token數量，壓縮到僅有2個。具體效…

原文鏈接：點此閱讀原文：AI變鑒片大師，星際穿越都能看懂！賈佳亞團隊新作，多模態大模型挑戰超長3小時視頻

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破