Snap Video

Snap Video是一款由Snap公司研發(fā)的先進(jìn)AI視頻生成模型，旨在通過用戶輸入的文本描述合成高質(zhì)量的視頻內(nèi)容。該模型在生成視頻時(shí)特別注重時(shí)間連續(xù)性和質(zhì)量，有效地解決了文本到視頻生成中存在的挑戰(zhàn)。與其他同類模型如Pika和Runway Gen-2相比，Snap Video展現(xiàn)了更優(yōu)越的性能。

Snap Video是什么

Snap Video是Snap（知名社交媒體Snapchat的母公司）研究團(tuán)隊(duì)推出的一款A(yù)I視頻生成模型。用戶只需輸入一段描述性文本，Snap Video便能根據(jù)該文本生成相應(yīng)的視頻內(nèi)容。考慮到視頻內(nèi)容的復(fù)雜性和冗余性，Snap Video專注于生成高質(zhì)量、時(shí)間上連貫且保真的視頻，力求超越現(xiàn)有的文本到視頻技術(shù)。

Snap Video

Snap Video的官網(wǎng)入口

官方項(xiàng)目主頁：https://snap-research.github.io/snapvideo/
arXiv研究論文：https://arxiv.org/abs/2402.14797

Snap Video的主要功能

專為視頻生成設(shè)計(jì)：Snap Video是一個(gè)視頻優(yōu)先模型，特別優(yōu)化了視頻的時(shí)間連續(xù)性和表現(xiàn)，區(qū)別于其他通常從圖像生成擴(kuò)展而來的模型。
增強(qiáng)的EDM框架：該模型擴(kuò)展了EDM框架，提升了處理視頻數(shù)據(jù)時(shí)的質(zhì)量，能夠更好地應(yīng)對(duì)空間和時(shí)間的冗余性。
高效的Transformer架構(gòu)：Snap Video基于Transformer的FIT架構(gòu)，有效處理序列數(shù)據(jù)，特別是在生成高分辨率視頻時(shí)表現(xiàn)優(yōu)越。
迅速的訓(xùn)練與推理：與傳統(tǒng)的U-Net等架構(gòu)相比，Snap Video在訓(xùn)練和推理速度上更具優(yōu)勢，能夠高效地生成視頻。
生成高分辨率視頻：Snap Video能夠合成高分辨率視頻內(nèi)容，克服了以往文本到視頻生成模型在細(xì)節(jié)和復(fù)雜性上的挑戰(zhàn)。
空間-時(shí)間聯(lián)合建模：通過同時(shí)考慮空間和時(shí)間維度，Snap Video能夠生成更具動(dòng)態(tài)性和時(shí)間一致性的視頻。

Snap Video的技術(shù)架構(gòu)

擴(kuò)展的EDM框架：Snap Video對(duì)EDM框架進(jìn)行了適應(yīng)性擴(kuò)展，以支持高分辨率視頻的生成，確保在保持信噪比的同時(shí)維持性能。
變換器架構(gòu)：采用基于變換器（Transformer）的架構(gòu)，Snap Video利用自注意力和跨注意力機(jī)制捕捉視頻幀中的全局依賴關(guān)系，生成連貫的視頻。
FIT架構(gòu)：使用FIT（Far-reaching Interleaved Transformers）架構(gòu)，專為高分辨率圖像和視頻合成設(shè)計(jì)，使得Snap Video能夠有效處理高分辨率視頻數(shù)據(jù)。
空間-時(shí)間聯(lián)合建模：在視頻生成過程中，Snap Video同時(shí)關(guān)注空間和時(shí)間維度，提升了視頻的動(dòng)態(tài)變化和質(zhì)量。
兩階段級(jí)聯(lián)模型：Snap Video采用兩階段的級(jí)聯(lián)生成策略，先生成低分辨率視頻，再通過上采樣生成高分辨率視頻，確保了性能和質(zhì)量。
訓(xùn)練與推理過程：在訓(xùn)練中，Snap Video使用了LAMB優(yōu)化器并采用余弦學(xué)習(xí)率調(diào)度；推理過程中，模型通過確定性采樣器生成視頻樣本，并應(yīng)用分類器引導(dǎo)（Classifier-Free Guidance）提高文本與視頻的對(duì)齊性。
條件信息整合：在生成過程中，Snap Video利用文本描述、噪聲水平、幀率和分辨率等條件信息，通過額外讀取操作控制生成流程。

應(yīng)用場景

Snap Video可以廣泛應(yīng)用于短視頻制作、廣告創(chuàng)意、教育視頻生成以及社交媒體內(nèi)容創(chuàng)作等多個(gè)領(lǐng)域。無論是營銷推廣還是個(gè)人創(chuàng)作，Snap Video都能為用戶提供便捷且高質(zhì)量的視覺內(nèi)容生成體驗(yàn)。