AI視頻理解天花板，全新MiniGPT4-Video刷爆SOTA！寶格麗宣傳片配文一絕

AIGC動態(tài)歡迎閱讀

原標題：AI視頻理解天花板，全新MiniGPT4-Video刷爆SOTA！寶格麗宣傳片配文一絕
關(guān)鍵字：研究人員,視頻,解讀,模型,視覺
文章來源：新智元
內(nèi)容字數(shù)：5803字

內(nèi)容摘要：

新智元報道編輯：桃子 潤
【新智元導讀】秒懂視頻的AI誕生了！KAUST和哈佛大學研究團隊提出MiniGPT4-Video框架，不僅能理解復雜視頻，甚至還能作詩配文。幾天前，OpenAI官方賬號發(fā)布了第一支由Sora制作的MV——Worldweight，引全網(wǎng)圍觀。
AI視頻，已然成為多模態(tài)LLM發(fā)展的大趨勢。
然而，除了視頻生成，讓LLM對復雜視頻進行理解，也至關(guān)重要。
最近，來自KAUST和哈佛大學的研究人員提出了MiniGPT4-Video——專為視頻理解而設(shè)計的多模態(tài)大模型。
論文地址：https://arxiv.org/pdf/2404.03413.pdf
值得一提的是，MiniGPT4-Video能夠同時處理時態(tài)視覺數(shù)據(jù)和文本數(shù)據(jù)，因此善于理解視頻的復雜性。
比如，上傳一個寶格麗的首飾宣傳視頻。
MiniGPT4-Video能夠為其配出標題，宣傳語。
再比如，使用虛幻引擎制作的視頻，新模型可以對其進行理解。
能看出這個視頻使用了后期處理和特效，而不是實際拍攝出來的。
甚至，看過一簇簇花盛開的視頻，MiniGPT4-video即興作出了超美的抒情詩。
基于MiniGPT-v

原文鏈接：AI視頻理解天花板，全新MiniGPT4-Video刷爆SOTA！寶格麗宣傳片配文一絕

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。