Sketch2Sound – Adobe 聯(lián)合西北大學(xué)推出的AI音頻生成技術(shù)

Sketch2Sound是什么

Sketch2Sound是一項由Adobe研究院與西北大學(xué)合作推出的先進(jìn)AI音頻生成技術(shù)。該技術(shù)能夠根據(jù)聲音模仿和文本提示生成高質(zhì)量的音效。Sketch2Sound通過從聲音模仿中提取響度、亮度和音高這三個關(guān)鍵控制信號，并將這些信號編碼后應(yīng)用于條件文本到聲音的生成系統(tǒng)。它具有輕量化的特點(diǎn)，僅需經(jīng)過少量的微調(diào)和一層線性適配，即可在多種文本到音頻模型上高效實施。Sketch2Sound為聲音設(shè)計師提供了結(jié)合文本提示的語義靈活性與聲音模仿的精準(zhǔn)性，極大地提升了聲音創(chuàng)作的表現(xiàn)力和可控性。

Sketch2Sound的主要功能

• 聲音模仿與文本提示的結(jié)合： Sketch2Sound能夠理解聲音模仿（如口頭仿聲）和文本提示，從而生成與兩者相符的高品質(zhì)音效。
• 提取控制信號： 從輸入的聲音模仿中提取三個重要的控制信號：響度、亮度和音高概率。
• 生成任意聲音： 利用提取的控制信號和文本提示，合成任意聲音，既可以模仿特定的聲音，也可以創(chuàng)造新的聲音效果。
• 輕量級實現(xiàn)： 該技術(shù)能夠在任何文本到音頻的潛在擴(kuò)散變換器上運(yùn)行，僅需40,000步的微調(diào)和每個控制信號一個單獨(dú)的線性層。

Sketch2Sound的技術(shù)原理

• 控制信號提取： 采用音頻信號處理技術(shù)，從輸入的聲音模仿中提取響度、亮度和音高概率。
• 潛在擴(kuò)散模型： 基于預(yù)訓(xùn)練的文本到聲音潛在擴(kuò)散變換器（DiT），該模型結(jié)合變分自編碼器（VAE）和變換器解碼器，將音頻壓縮為連續(xù)向量序列，并生成新的潛在向量序列以合成音頻。
• 條件生成： 在潛在擴(kuò)散模型中添加線性投影層，將控制信號直接整合到模型的噪聲潛在變量中，實現(xiàn)模型的條件化。
• 微調(diào)與適配： 對預(yù)訓(xùn)練的文本到音頻模型進(jìn)行微調(diào)，使其能夠處理時間變化的控制信號，實現(xiàn)自監(jiān)督微調(diào)。
• 推理時控制： 在推理階段，用戶可以選擇不同大小的中值濾波器，以調(diào)整控制信號的時間細(xì)節(jié)，從而在聲音模仿的精確性與生成音頻的質(zhì)量之間取得平衡。
• 語義靈活性與表達(dá)性： 結(jié)合文本提示的語義靈活性以及聲音模仿的表達(dá)性，為用戶提供了一種自然、直觀的聲音創(chuàng)作方式。

Sketch2Sound的項目地址

• 項目官網(wǎng)：hugofloresgarcia.art/sketch2sound
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.08550

Sketch2Sound的應(yīng)用場景

• 電影與視頻制作： 在電影和視頻的后期制作中，生成與畫面同步的音效，例如模擬特定環(huán)境的聲音效果（如森林、城市、戰(zhàn)場等）。
• 游戲開發(fā)： 為電子游戲設(shè)計真實的音效及環(huán)境音，增強(qiáng)游戲的沉浸感與互動性。
• 音樂制作： 音樂制作人能夠創(chuàng)作新的音樂元素或模擬特定樂器的聲音。
• 聲音設(shè)計教育： 在聲音設(shè)計教學(xué)中，作為工具幫助學(xué)生理解聲音的構(gòu)成及操控聲音的基本方法。
• 互動媒體及裝置藝術(shù)： 在互動藝術(shù)項目中，根據(jù)觀眾的行為或輸入生成相應(yīng)的聲音反饋。

常見問題

• Sketch2Sound的使用是否復(fù)雜？ 該技術(shù)采用輕量化設(shè)計，用戶只需進(jìn)行少量的微調(diào)即可在多種模型上使用，非常適合聲音設(shè)計師。
• 生成的音效質(zhì)量如何？ Sketch2Sound能夠生成高品質(zhì)的音效，結(jié)合聲音模仿與文本提示，確保音效的準(zhǔn)確性和表現(xiàn)力。
• 是否有支持的應(yīng)用案例？ 是的，Sketch2Sound廣泛應(yīng)用于電影制作、游戲開發(fā)、音樂創(chuàng)作等多個領(lǐng)域，展現(xiàn)出良好的實用性。