復(fù)旦發(fā)布MovieLLM，讓大模型看懂電影

AIGC動態(tài)歡迎閱讀

原標題：復(fù)旦發(fā)布MovieLLM，讓大模型看懂電影
關(guān)鍵字：模型,視頻,電影,關(guān)鍵,風(fēng)格
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：6770字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 謝年年前兩天我們介紹了大模型寫歌神器點擊即可播放！港中文發(fā)布大模型寫歌神器！
最近，復(fù)旦又發(fā)布了合成高質(zhì)量長視頻數(shù)據(jù)的新框架——MovieLLM，利用GPT-4并引導(dǎo)文圖生成模型生成一致的電影級視頻關(guān)鍵幀，利用該框架生成的長視頻指令數(shù)據(jù)，顯著提高了多模態(tài)模型在理解復(fù)雜視頻敘事方面的性能，讓大模型更懂電影。
先來看看效果：
提供給模型幾張電影關(guān)鍵幀：
并詢問：你能用幾句話概括一下這部電影嗎?
模型能給出詳細并正確的故事概括：
在《Splice》這部電影中，科學(xué)家克萊夫·尼科利和艾爾莎·卡斯特試圖通過將人類DNA植入豬胚胎來創(chuàng)造一個雜交生物。然而，實驗出現(xiàn)了意外，豬胚胎經(jīng)歷了迅速的生長和進化。艾爾莎的哥哥加文也參與了這次實驗，他變得癡迷于拯救他的兄弟克萊夫脫離實驗。隨著雜交生物德倫的成長，它開始迅速發(fā)育，并展現(xiàn)出復(fù)雜、不可預(yù)測的個性。德倫的行為愈發(fā)失控，最終導(dǎo)致了一場沖突，德倫了艾爾莎，并被迫接受。電影以克萊夫和加文反思他們所創(chuàng)造的道德困境和他們科學(xué)成就的道德影響而告終。
但沒有經(jīng)過該數(shù)據(jù)微調(diào)的模型則錯誤的將電影主旨的“人類DNA植入豬胚胎來創(chuàng)造一個雜

原文鏈接：復(fù)旦發(fā)布MovieLLM，讓大模型看懂電影

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網(wǎng)中高管和機構(gòu)投資人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報道深度。