蘋果推出的視頻生成大模型

產品名稱：STIV
產品簡介：STIV（Scalable Text and Image Conditioned Video Generation）是蘋果公司推出的視頻生成大模型。STIV擁有8.7億參數，能處理文本到視頻（T2V）和文本圖像到視頻（TI2V）任務，基于聯合圖像-文本分類器引導（JIT-CFG）提升視頻生成質量。
詳細介紹：

STIV是什么

STIV（Scalable Text and Image Conditioned Video Generation）是蘋果公司推出的視頻生成大模型。STIV擁有8.7億參數，能處理文本到視頻（T2V）和文本圖像到視頻（TI2V）任務，基于聯合圖像-文本分類器引導（JIT-CFG）提升視頻生成質量。STIV模型基于PixArt-Alpha架構，融合時空注意力機制、旋轉位置編碼（RoPE）和流匹配訓練目標，增強視頻生成的穩定性和效率。STIV支持多種下游應用，如視頻預測、幀插值和長視頻生成等。

STIV的主要功能

• 文本到視頻（T2V）和文本圖像到視頻（TI2V）生成：STIV能根據文本提示或結合文本和初始圖像幀生成視頻內容。
• 多模態條件支持：模型支持基于文本和圖像的條件進行視頻生成，增強視頻內容與輸入條件的一致性。
• 視頻預測：模型對視頻未來幀進行預測，適用于自動駕駛和嵌入式AI等領域。
• 幀插值：在給定的幀之間生成中間幀，提高視頻的流暢度和連續性。
• 多視角生成：從單一視角生成視頻的新視角，增強視頻的立體感和真實感。
• 長視頻生成：基于關鍵幀預測和幀插值技術，生成更長時長的視頻內容。

STIV的技術原理

• Diffusion Transformer（DiT）：基于DiT架構，能有效處理時空數據。
• 幀替換：在訓練過程中，將噪聲幀替換為無噪聲的圖像條件幀，增強視頻生成的準確性和一致性。
• 聯合圖像-文本分類器引導（JIT-CFG）：一種無分類器引導技術，調整文本和圖像條件的權重，優化視頻生成過程。
• 時空注意力機制：基于分解的時空注意力機制，分別處理空間和時間維度的特征，提高模型的效率和效果。
• 旋轉位置編碼（RoPE）：RoPE增強模型處理相對時空關系的能力，更好地適應不同分辨率的生成任務。
• 流匹配訓練目標：用流匹配目標替代傳統的擴散損失，實現更優的條件最優傳輸策略，提升生成質量。

STIV的項目地址

• HuggingFace模型庫：https://huggingface.co/papers/2412.07730
• arXiv技術論文：https://arxiv.org/pdf/2412.07730

STIV的應用場景

• 娛樂與社交媒體：用戶生成個性化的視頻內容，如舞蹈、旅行或日常生活的短視頻，在抖音、Instagram等社交平臺上分享。
• 廣告與營銷：企業創建動態的廣告視頻，根據產品特點或服務優勢快速生成吸引人的視頻內容，提高廣告的吸引力和轉化率。
• 教育與培訓：教育機構生成教育視頻，如模擬實驗過程或歷史，為學生提供更加直觀和互動的學習體驗。
• 新聞與報道：新聞機構將新聞報道轉化為視頻內容，快速生成新聞故事的可視化呈現，提高新聞的傳播效率和觀眾的理解度。
• 自動駕駛與仿真：自動駕駛技術公司生成各種交通場景的視頻，測試和訓練自動駕駛系統的決策和反應能力。