字節視頻生成新突破！Phantom搞定多人物/主體一致性

視頻質量、文本響應、主體一致性等多個維度都處于優勢

原標題：字節視頻生成新突破！Phantom搞定多人物/主體一致性
文章來源：量子位
內容字數：3978字

字節跳動推出全新視頻生成模型Phantom：解決多主體一致性難題

字節跳動智能創作團隊在視頻生成領域取得突破性進展，推出了名為Phantom（“幻影”）的全新視頻生成模型。該模型旨在解決現有視頻生成模型中多主體一致性保持的重大挑戰，并取得了顯著成果。

1. Phantom的核心突破：多主體一致性

與現有技術相比，Phantom在多主體一致性方面實現了突破。它不僅能夠支持多個主體同時存在于生成的視頻中，還能精準地保持每個主體的完整性和一致性。無論是人物、物品、服裝、動物，還是虛擬角色，Phantom都能準確捕捉其關鍵特征，并自然地融入生成的視頻場景中。例如，它可以根據提示詞，生成“歌劇魅影”片段，完美融合場景、服裝和配飾等要素。

2. 身份保持與內容豐富性

借助面部參考圖像，Phantom能夠嚴格鎖定主體的身份特征。用戶只需上傳一張人物照片，模型就能以此為藍本，生成該人物在不同場景下說話、行動的視頻，高度還原人物的面部輪廓、五官細節和表情神態，實現“照片中的人物活了過來”的效果。這種功能同樣適用于動物、物品和虛擬角色，展現其獨特的魅力和細節。

3. 單參考與多參考主體視頻生成

Phantom支持單參考圖像和多參考圖像的視頻生成。單參考圖像生成可以捕捉小動物的可愛瞬間、服裝的獨特魅力或虛擬角色的奇幻冒險。多參考圖像生成則支持復雜交互場景的視頻創作，例如多人對話場景、產品展示場景以及虛擬試穿場景，為電商行業帶來全新的營銷模式。

4. 基于DiT的視頻生成方案

Phantom采用基于DiT（Diffusion with Image-to-text）的視頻生成框架，實現了主體到視頻的生成(S2V)。它巧妙地平衡了文本生成視頻(T2V)和圖像生成視頻(I2V)兩種模式的優勢，既能發揮T2V的創造性，又避免了I2V中“復制粘貼”的局限性。通過構建文本-圖片-視頻三元組數據以及交叉配對數據，模型學習不同模態之間的對齊，并有效避免了視頻生成中主體元素的重復或缺失。

5. 性能優勢與應用前景

與其他領先的商業化工具相比，Phantom在視頻質量、文本響應和主體一致性等多個維度上都具有優勢，尤其在人臉ID一致性方面表現突出。其強大的功能和高精度性能，為影視制作、廣告營銷、電商等領域提供了全新的創作工具和解決方案，具有廣闊的應用前景。

6. 團隊介紹

Phantom模型由字節跳動智能創作團隊研發，該團隊致力于建設領先的計算機視覺、音視頻編輯、特效處理等技術，為抖音、剪映、即夢等產品提供技術支持，并通過火山引擎為外部合作伙伴提供智能創作能力與行業解決方案。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破