Loong是一款由香港大學與字節跳動共同開發的先進長視頻生成模型，能夠創造出外觀一致、動態豐富且場景過渡自然的分鐘級視頻。該模型基于自回歸大型語言模型（LLM），通過將文本和視頻信息整合為統一序列，采用漸進式短到長的訓練方法和損失重新加權策略，成功克服了長視頻生成中的多種挑戰。

Loong是什么

Loong是香港大學與字節跳動聯手推出的一款創新型長視頻生成模型，具備生成外觀一致、動態豐富和場景過渡自然的分鐘級視頻的能力。該模型依托自回歸大型語言模型（LLM），將文本與視頻信息整合為統一的序列，并通過漸進式短到長訓練方案和損失重新加權策略來克服長視頻生成中的各種挑戰。Loong的設計理念使模型在訓練過程中能夠從文本提示中學習生成視頻，并擴展到生成超出訓練長度的視頻。此外，Loong還研究了視頻標記重新編碼和采樣策略等推理方法，從而減少推理過程中的錯誤累積。

Loong的主要功能

• 長視頻生成：支持生成長達一分鐘或更長的視頻內容。
• 文本到視頻的轉換：能夠根據指定的文本提示生成相應的視頻內容。
• 內容連貫性：確保生成的視頻在外觀、動態變化和場景過渡上高度一致。
• 動態豐富性：精準捕捉和表現視頻中的復雜動態和動作。
• 場景自然過渡：在不同場景之間實現流暢過渡，保持視覺的一致性。

Loong的技術原理

• 統一序列建模： Loong通過將文本標記和視頻標記視為統一序列進行建模，使得自回歸大型語言模型（LLM）能夠基于文本提示預測視頻標記。
• 漸進式短到長訓練： 基于分階段的訓練策略，逐步增加訓練視頻的長度，模型能夠學習并生成更復雜且連貫性更強的視頻內容。
• 損失重新加權： 為了解決長視頻訓練中的損失不平衡問題，對早期幀的損失進行加權，增強模型對早期幀的學習能力。
• 視頻標記重新編碼： 在視頻推理過程中，將預測的視頻標記解碼為像素空間的視頻幀，并進行重新編碼，以確保視頻內容的連貫性和一致性。
• 采樣策略： 采用Top-k采樣策略，從最有可能的標記中進行選擇，減少潛在錯誤對后續標記生成的影響，從而減輕錯誤累積問題。

Loong的項目地址

• 項目官網：epiphqny.github.io/Loong-video
• arXiv技術論文：https://arxiv.org/pdf/2410.02757v1

Loong的應用場景

• 娛樂和社交媒體：用戶可以生成個性化的長視頻內容，并在社交媒體平臺上分享，例如音樂視頻、旅行日志和趣味故事。
• 電影和視頻制作：在電影預告片、特效制作或長視頻內容的初步創意階段，Loong可以快速生成視頻草圖，幫助導演和制片人探索不同的故事線和視覺效果。
• 廣告和營銷：企業利用Loong生成吸引人的廣告視頻，以更生動的方式展示產品或服務，從而提高廣告的吸引力和記憶度。
• 教育和培訓：在教育領域，Loong能夠創建教育內容，例如歷史重現和科學實驗模擬，提供更直觀和互動的學習體驗。
• 新聞和報道：新聞機構可以快速生成新聞故事的視頻摘要，從而提高報道的效率和吸引力。

常見問題

• Loong能生成多長的視頻？ Loong可以生成長達一分鐘或更長時間的視頻內容。
• 如何使用Loong生成視頻？ 用戶只需提供文本提示，Loong即可根據提示生成相應的視頻內容。
• Loong的輸出視頻是否具有連貫性？ 是的，Loong保證生成的視頻在外觀、動態變化和場景過渡上具有高度連貫性。
• Loong適合哪些應用領域？ Loong適用于娛樂、電影制作、廣告、教育以及新聞等多個領域。