Loopy是字節跳動推出的一款基于音頻驅動的AI視頻生成模型，能夠將靜態照片轉化為動態視頻。該技術使得照片中的人物能夠根據輸入的音頻文件進行面部表情和頭部動作的同步，生成自然且逼真的動態效果。Loopy采用了先進的擴散模型技術，無需依賴額外的空間信號或條件，能夠有效捕捉并理解長期信息，適用于娛樂、教育等多種場景。

Loopy是什么

Loopy是一款由字節跳動開發的音頻驅動AI視頻生成模型，用戶可以將靜態照片變為動態視頻，照片中的人物根據指定的音頻文件進行面部表情和頭部動作的協調，創造出栩栩如生的動態效果。其技術基于先進的擴散模型，無需額外的空間信號或條件，能夠捕捉并學習長期信息，生成自然流暢的動作，適合在娛樂、教育等多個領域應用。

Loopy的主要功能

• 音頻驅動： Loopy能夠根據輸入的音頻文件自動生成與之同步的動態視頻。
• 面部動作生成： 動態視頻中的人物嘴型、眉毛、眼睛等面部部位會自然地進行動作，仿佛在說話。
• 無需額外條件： 不同于一些需要額外信息的技術，Loopy可生成視頻，無需輔助輸入。
• 長期信息捕捉： 具備處理長期信息的能力，生成更加自然、流暢的動作效果。
• 多樣化的輸出： 根據輸入的音頻特征（如情感和節奏等），生成相應的面部表情和頭部動作，展現多樣化的表現效果。

Loopy的技術原理

• 音頻驅動模型： Loopy的核心在于音頻驅動的視頻生成模型，能夠根據音頻信號生成與之同步的動態視頻。
• 擴散模型： 采用擴散模型技術，通過逐步引入噪聲并學習逆向過程來生成視頻數據。
• 時間模塊： 設計了跨片段及片段內部的時間模塊，使得模型能夠理解并利用長期信息，從而生成更自然且連貫的動作。
• 音頻到潛空間轉換： 將音頻信號轉換為驅動面部動作的潛在表示。
• 生成： 從音頻中提取特征和長期信息，生成對應的面部動作，如嘴型、眉毛、眼睛等部位的動態變化。

Loopy的項目地址

• 產品體驗： 即夢AI – AI視頻生成 – “對口型”功能
• 項目官網： https://loopyavatar.github.io/
• arXiv技術論文： https://arxiv.org/pdf/2409.02634

Loopy的應用場景

• 社交媒體與娛樂： 為社交媒體上的照片或視頻增添動態效果，提升互動性和娛樂性。
• 電影與視頻制作： 制作特效，讓歷史人物“復活”，創造生動的視覺體驗。
• 游戲開發： 為游戲中的非玩家角色（NPC）生成更真實自然的面部表情與動作。
• 虛擬現實（VR）與增強現實（AR）： 在VR或AR體驗中，生成更加真實和沉浸式的虛擬角色。
• 教育與培訓： 制作教育視頻，模擬歷史人物的演講或重現科學實驗過程。
• 廣告與營銷： 創造引人注目的廣告內容，提升廣告的吸引力和記憶度。

常見問題

Loopy如何處理輸入的音頻？ Loopy使用音頻信號提取特征，并將其轉化為驅動面部動作的潛在表示，以生成動態視頻。

我需要提供額外的信息嗎？ 不需要，Loopy能夠生成視頻，無需額外的空間信號或條件。

Loopy適用于哪些領域？ Loopy廣泛應用于社交媒體、娛樂、教育、游戲開發、廣告等多個領域。