Snap Video

Snap Video是一款由Snap公司研發的先進AI視頻生成模型，旨在通過用戶輸入的文本描述合成高質量的視頻內容。該模型在生成視頻時特別注重時間連續性和質量，有效地解決了文本到視頻生成中存在的挑戰。與其他同類模型如Pika和Runway Gen-2相比，Snap Video展現了更優越的性能。

Snap Video是什么

Snap Video是Snap（知名社交媒體Snapchat的母公司）研究團隊推出的一款AI視頻生成模型。用戶只需輸入一段描述性文本，Snap Video便能根據該文本生成相應的視頻內容。考慮到視頻內容的復雜性和冗余性，Snap Video專注于生成高質量、時間上連貫且保真的視頻，力求超越現有的文本到視頻技術。

Snap Video

Snap Video的官網入口

官方項目主頁：https://snap-research.github.io/snapvideo/
arXiv研究論文：https://arxiv.org/abs/2402.14797

Snap Video的主要功能

專為視頻生成設計：Snap Video是一個視頻優先模型，特別優化了視頻的時間連續性和表現，區別于其他通常從圖像生成擴展而來的模型。
增強的EDM框架：該模型擴展了EDM框架，提升了處理視頻數據時的質量，能夠更好地應對空間和時間的冗余性。
高效的Transformer架構：Snap Video基于Transformer的FIT架構，有效處理序列數據，特別是在生成高分辨率視頻時表現優越。
迅速的訓練與推理：與傳統的U-Net等架構相比，Snap Video在訓練和推理速度上更具優勢，能夠高效地生成視頻。
生成高分辨率視頻：Snap Video能夠合成高分辨率視頻內容，克服了以往文本到視頻生成模型在細節和復雜性上的挑戰。
空間-時間聯合建模：通過同時考慮空間和時間維度，Snap Video能夠生成更具動態性和時間一致性的視頻。

Snap Video的技術架構

擴展的EDM框架：Snap Video對EDM框架進行了適應性擴展，以支持高分辨率視頻的生成，確保在保持信噪比的同時維持性能。
變換器架構：采用基于變換器（Transformer）的架構，Snap Video利用自注意力和跨注意力機制捕捉視頻幀中的全局依賴關系，生成連貫的視頻。
FIT架構：使用FIT（Far-reaching Interleaved Transformers）架構，專為高分辨率圖像和視頻合成設計，使得Snap Video能夠有效處理高分辨率視頻數據。
空間-時間聯合建模：在視頻生成過程中，Snap Video同時關注空間和時間維度，提升了視頻的動態變化和質量。
兩階段級聯模型：Snap Video采用兩階段的級聯生成策略，先生成低分辨率視頻，再通過上采樣生成高分辨率視頻，確保了性能和質量。
訓練與推理過程：在訓練中，Snap Video使用了LAMB優化器并采用余弦學習率調度；推理過程中，模型通過確定性采樣器生成視頻樣本，并應用分類器引導（Classifier-Free Guidance）提高文本與視頻的對齊性。
條件信息整合：在生成過程中，Snap Video利用文本描述、噪聲水平、幀率和分辨率等條件信息，通過額外讀取操作控制生成流程。