SeedFoley – 字節(jié)推出的端到端視頻音效生成模型

SeedFoley是一款由字節(jié)跳動豆包大模型語音團隊研發(fā)的端到端視頻音效生成系統(tǒng)，為視頻創(chuàng)作者提供智能化的音效生成解決方案。該模型通過結(jié)合時空視頻特征與擴散生成模型，實現(xiàn)了音效與視頻內(nèi)容的高度同步。其獨特的視頻編碼器采用快慢特征組合，能夠提取視頻的時空信息，同時基于原始波形的音頻表征模型保留高頻細節(jié)，顯著提升音效的精致程度。

SeedFoley是什么

SeedFoley 是字節(jié)跳動豆包大模型語音團隊推出的一款端到端視頻音效生成模型，旨在為視頻創(chuàng)作提供智能音效服務(wù)。通過融合時空視頻特征與擴散生成模型，該系統(tǒng)能夠?qū)崿F(xiàn)音效與視頻的精準同步。模型采用了快速與慢速特征結(jié)合的視頻編碼器，提取視頻的時空特征，同時使用原始波形作為輸入的音頻表征模型，以保留高頻信息，提升音效的細膩程度。擴散模型通過優(yōu)化概率路徑上的連續(xù)映射關(guān)系，有效減少推理步數(shù)，降低推理成本。SeedFoley能夠精準提取視頻幀級的視覺信息，智能區(qū)分動作音效與環(huán)境音效，支持多種視頻長度，并在音效的準確性、同步性和匹配度上表現(xiàn)卓越。

SeedFoley的主要功能

• 智能音效生成：SeedFoley能夠精準提取視頻幀級的視覺信息，通過分析多幀畫面，識別視頻中的發(fā)聲主體和動作場景，如節(jié)奏感強烈的音樂瞬間或電影中的緊張情節(jié)，營造身臨其境的真實體驗。
• 音效類型區(qū)分：系統(tǒng)能夠智能區(qū)分動作音效與環(huán)境音效，顯著提升視頻的敘事性和情感傳遞效果。
• 多種視頻長度支持：SeedFoley支持可變長度的視頻輸入，在音效的準確性、同步性和匹配度等方面均達到領(lǐng)先水平。

SeedFoley的技術(shù)原理

• 視頻編碼器：SeedFoley的視頻編碼器結(jié)合快慢特征提取技術(shù)，在高幀率下獲取局部信息，在低幀率下提取視頻語義信息。這一方法使得模型在低計算資源下實現(xiàn)8fps的幀級視頻特征提取，進行精細的動作定位。最后，通過Transformer結(jié)構(gòu)融合快慢特征，實現(xiàn)視頻時空特征的提取。
• 音頻表征模型：與傳統(tǒng)基于梅爾頻譜的VAE模型不同，SeedFoley使用原始波形作為輸入，編碼后得到一維表征。音頻采用32k的采樣率，確保高頻信息的保留。每秒音頻提取32個潛在表征，提升時序上的分辨率，增強音效的細膩程度。
• 擴散模型：SeedFoley采用Diffusion Transformer框架，優(yōu)化概率路徑上的連續(xù)映射關(guān)系，實現(xiàn)從高斯噪聲分布到目標音頻表征空間的概率匹配。與傳統(tǒng)擴散模型依賴馬爾可夫鏈采樣不同，SeedFoley通過構(gòu)建連續(xù)變換路徑，有效減少推理步驟，降低推理成本。在訓練過程中，將視頻特征與音頻語義標簽分別編碼為隱空間向量，通過通道維度拼接與時間編碼及噪聲信號混合，形成聯(lián)合條件輸入，提升音效與視頻畫面在時序上的一致性。

如何使用SeedFoley

• 訪問即夢平臺：前往即夢的官方網(wǎng)站或使用即夢應(yīng)用，注冊并登錄賬戶。
• 生成視頻：在即夢平臺選擇視頻生成功能，根據(jù)需求生成視頻內(nèi)容。
• 選擇「AI音效」功能：生成視頻后，選擇「AI音效」功能，系統(tǒng)將自動為您的視頻生成三個專業(yè)級音效方案。
• 預覽與選擇音效方案：預覽生成的音效方案，選擇最適合您視頻內(nèi)容的音效。
• 應(yīng)用音效：將選定的音效方案應(yīng)用到您的視頻中。
• 注意事項：
  • 視頻長度：SeedFoley支持可變長度的視頻輸入，但建議視頻長度不要過長，以確保生成效果。
  • 音效類型：系統(tǒng)智能區(qū)分動作音效與環(huán)境音效，提升視頻的敘事性和情感傳遞效果。
  • 預覽效果：選擇音效方案時，建議仔細預覽每個方案的效果，以選擇最適合您視頻內(nèi)容的音效。

SeedFoley的應(yīng)用場景

• 生活Vlog：為個人Vlog添加真實的環(huán)境音效，如街頭的嘈雜聲、咖啡館的背景音樂等。
• 短片制作：為短片添加與情節(jié)匹配的動作音效與環(huán)境音效，提高觀眾的沉浸感。
• 游戲制作：為游戲視頻加入真實的音效，如戰(zhàn)斗聲、環(huán)境聲等，提升游戲體驗。
• 視頻后期制作：SeedFoley可以在視頻后期制作中快速生成與視頻內(nèi)容高度匹配的音效，節(jié)省時間與成本。
• 廣告視頻：為廣告視頻增添吸引人的音效，提高廣告的吸引力與傳播效果。
• 教育視頻：為教育視頻配上合適的音效，增強觀眾的學習興趣與注意力。