^{<dl id="ggeum"></dl>}

Kling-Foley

Kling-Foley – 可靈AI推出的多模態視頻生音效模型

Kling-Foley 是可靈 AI 推出的創新多模態視頻生音效模型，它能夠根據視頻內容和文本提示，生成與視頻畫面精準同步、高質量的立體聲音頻，涵蓋音效、背景音樂等多種類型。該模型支持任意時長音頻生成，并采用先進的多模態控制流匹配架構，結合多模態特征融合和特定模塊處理，實現音視頻完美對齊。 Kling-Foley 依托大規模自建多模態數據集訓練，在音效生成領域表現卓越，為視頻內容創作提供了高效、優質的音頻解決方案。

Kling-Foley：開啟音視頻創作新紀元

在數字內容創作日益繁榮的今天，為視頻配上恰如其分的音效至關重要。可靈 AI 傾力打造的 Kling-Foley，正是為滿足這一需求而生的多模態視頻生音效模型。它不僅能將視頻轉化為聽覺盛宴，更能顯著提升創作效率和作品品質。

核心功能：釋放您的創作潛能

卓越音效生成： Kling-Foley 能夠根據您提供的視頻內容和可選的文本提示，智能生成與畫面語義高度相關、時間精準同步的立體聲音頻。無論是令人驚嘆的音效，還是恰到好處的背景音樂，它都能輕松駕馭，滿足您在不同場景下的音頻需求。
靈活時長支持：無需擔心視頻長度的限制，Kling-Foley 支持生成任意時長的音頻內容，完美適配您的視頻長度，確保音頻與視頻內容的無縫銜接。
沉浸式立體聲體驗：借助先進的立體聲渲染技術，Kling-Foley 能夠呈現具有空間感的音頻效果，讓聽眾仿佛置身于視頻場景之中，帶來更強的沉浸感。

技術解析：音視頻完美融合的秘訣

多模態控制的流匹配架構： Kling-Foley 采用創新的多模態控制流匹配模型，將文本、視頻和時間信息作為條件輸入，通過多模態聯合條件模塊進行深度融合，并由MMDit模塊進行處理。這種設計使得模型能夠更準確地理解視頻內容，生成與之匹配的音頻。
模塊化處理流程： Kling-Foley 的處理流程包含多個關鍵模塊，多模態特征經過融合后，被送入MMDit模塊預測VAE潛在特征。隨后，預訓練的梅爾解碼器將潛在特征轉化為單聲道梅爾聲譜圖。最后，Mono2Stereo模塊將單聲道聲譜圖渲染為立體聲聲譜圖，并由聲碼器生成最終的音頻波形。
精準音視頻對齊： Kling-Foley 引入視覺語義表示模塊和音視頻同步模塊，在幀級別上對齊視頻條件與音頻潛層元素，確保生成的音頻與視頻內容在時間上和內容上完美匹配。
靈活的時長處理：通過離散時長嵌入機制，Kling-Foley 能夠更好地處理不同長度的視頻輸入，生成與視頻長度相適應的音頻內容。
通用潛層音頻編解碼器： Kling-Foley 采用通用潛層音頻編解碼器（universal latent audio codec），使其能夠處理音效、語音、歌聲和音樂等多種音頻類型，實現高質量建模。其核心是Mel-VAE，通過聯合訓練Mel編碼器、Mel解碼器和鑒別器，增強音頻表征能力。