語音克隆達到人類水平，微軟全新VALL-E 2模型讓DeepFake堪比配音員

AIGC動態歡迎閱讀

原標題：語音克隆達到人類水平，微軟全新VALL-E 2模型讓DeepFake堪比配音員
關鍵字：模型,語音,文本,代碼,微軟
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】繼去年初的第一代VALL-E模型之后，微軟最近又上新了VALL-E 2模型，標志著第一個在合成語音穩健性、相似度、自然程度等方面達到人類水平的文本到語音模型。最近，微軟發布了零樣本的文本到語音（TTS）模型VALLE-2，首次實現了與人類同等的水平，可以說是TTS領域里程碑式的進展。
論文地址：https://arxiv.org/pdf/2406.05370
隨著近年來深度學習的快速進步，用錄音室環境下的干凈單人語音訓練模型，已經可以達到人類同等水平的質量，但零樣本TTS依舊是一個有挑戰性的問題。
「零樣本」意味著推理過程中，模型只能參照一段簡短的陌生語音樣本，用相同的聲音說出文本內容，就像一個能即時模仿的口技大師。
聽到這里，不知道你會不會突然警覺——有這種能力的模型就是Deepfake的最佳工具！
令人欣慰的是，MSRA考慮到了這一點，他們目前只將VALL-E系列作為研究項目，并沒有納入產品或擴大使用范圍的計劃。
雖然VALL-E 2有很強的零樣本學習能力可以像配音員一樣模仿聲音，但相似度和自然度取決于語音prompt的長度和質量、背景噪音等因

原文鏈接：語音克隆達到人類水平，微軟全新VALL-E 2模型讓DeepFake堪比配音員

聯系作者

文章來源：新智元
作者微信：
作者簡介：