WebRTC 的早期創(chuàng)建者之一，F(xiàn)ixie.ai 聯(lián)合創(chuàng)始人兼 CTO Justin Uberti 近日宣布加入 OpenAI，領(lǐng)導(dǎo)實(shí)時(shí) AI （Real-Time AI）項(xiàng)目的開(kāi)發(fā)。Uberti 在 2011 年于 Google 參與創(chuàng)建并領(lǐng)導(dǎo)了 WebRTC 項(xiàng)目，并推動(dòng)其成為 W3C 和 IETF 標(biāo)準(zhǔn)。從最早參與 AOL Instant Messenger（AIM）開(kāi)始，他見(jiàn)證了人與人之間溝通方式從文字到音視頻的演變。現(xiàn)在，他正在積極推動(dòng)人與 AI 的交互從文本框走向更自然的語(yǔ)音對(duì)話。2023 年完成種子輪融資，F(xiàn)ixie.ai 初期專注于 AI Agent 搭建平臺(tái)，后來(lái)轉(zhuǎn)向 Uberti 更為擅長(zhǎng)的實(shí)時(shí) AI 領(lǐng)域，先后推出了虛擬角色語(yǔ)音對(duì)話網(wǎng)站 AI.TOWN、大模型速度評(píng)測(cè)平臺(tái) thefastest.ai，以及最近發(fā)布的開(kāi)源語(yǔ)音模型 Ultravox（編者注：我們剛翻譯了 Ultravox 提出的「人類級(jí)別語(yǔ)音 AI 路線圖」）。11 月 26 日 Uberti 宣布離開(kāi) Fixie.ai，加入 OpenAI。我們找到了他今年 6 月以 Fixie.ai 聯(lián)創(chuàng)身份參與播客 AI Inside 的節(jié)目，摘錄了部分精彩對(duì)話，希望能幫助大家理解 Justin Uberti 對(duì)語(yǔ)音 AI 未來(lái)的思考。核心觀點(diǎn)語(yǔ)音交互是 AI 的未來(lái)：「我們正處于 AI 能夠理解和運(yùn)用語(yǔ)音，并最終可能結(jié)合視覺(jué)進(jìn)行多模態(tài)交互的時(shí)代。」我們正回歸對(duì)話式社會(huì)：「印刷術(shù)出現(xiàn)之前，社會(huì)是對(duì)話式的，后來(lái)被文本主導(dǎo)……我們正回歸對(duì)話式社會(huì)。」AI 在對(duì)話中不易出錯(cuò)：「大型語(yǔ)言模型擅長(zhǎng)對(duì)話，對(duì)話也具有自我修復(fù)特性。」語(yǔ)音 AI 提供了一個(gè)「不被批判」的環(huán)境：「練習(xí)口語(yǔ)的人可以在一個(gè)沒(méi)有評(píng)判的環(huán)境中與 AI 角色交談，甚至可以請(qǐng)角色指出錯(cuò)誤。」聲音克隆技術(shù)的倫理至關(guān)重要：「語(yǔ)音提供商正努力防止克隆聲音用于欺詐的情況，例如對(duì)語(yǔ)音加水印，征得同意，甚至要求用戶錄制視頻并出示身份證明。」AI 的「幻覺(jué)」可以是積極的：「在虛構(gòu)的 AI 角色場(chǎng)景中，『幻覺(jué)』反而是好事，因?yàn)樗梢匝a(bǔ)充角色個(gè)性。」低延遲是流暢語(yǔ)音交互的關(guān)鍵：「低延遲不僅僅是為了讓對(duì)話更流暢，它實(shí)際上會(huì)影響對(duì)話的語(yǔ)義理解。」語(yǔ)氣詞對(duì)自然對(duì)話至關(guān)重要：「像『嗯』、『呃』這樣的語(yǔ)氣詞實(shí)際上是對(duì)話流程中的一部分，用來(lái)控制話語(yǔ)權(quán)的……這些特征最終會(huì)成為語(yǔ)音 AI 的一部分。」端到端模型直接處理語(yǔ)音，所以更自然：「我們終將找到將人類對(duì)話的細(xì)微特征映射到 AI 交互中的方法。」語(yǔ)音交互的未來(lái)：對(duì)話 Justin UbertiThe Future of Voice Interaction(with Justin Uberti)主播：Jason Howell、Jeff Jarvis嘉賓：Justin Uberti注：為便于閱讀，本文內(nèi)容已作精簡(jiǎn)，并非完整對(duì)話。你可以訪問(wèn)原文收聽(tīng)完整版播客。01從文本消息到語(yǔ)音 AI 交互Jason Howell: Justin，歡迎！我從你在 Google 時(shí)期就關(guān)注你的工作，你領(lǐng)導(dǎo)了 WebRTC、Hangouts Video、Duo 和 Stadia 等項(xiàng)目，之后加入 Clubhouse，現(xiàn)在是 Fixie.ai 聯(lián)合創(chuàng)始人兼 CTO。你豐富的 AI 經(jīng)驗(yàn)是如何引領(lǐng)你創(chuàng)建 Fixie 和 AI Town 的？Justin Uberti: 我一直對(duì)語(yǔ)音/視頻對(duì)話和純文本對(duì)話的差異很感興趣。我早期參與了 AOL Instant Messenger，它能即時(shí)發(fā)送消息，這在當(dāng)時(shí)很神奇。后來(lái)我們添加了音視頻功能，因?yàn)樗鼈兂休d的信息更豐富。現(xiàn)在，Instagram 和 TikTok 等應(yīng)用都以視頻為中心，因?yàn)樗呶Αlubhouse 也證明了語(yǔ)音的魅力，它能傳達(dá)文本無(wú)法表達(dá)的情感。我認(rèn)為與 AI 的交互也應(yīng)如此。ChatGPT 很強(qiáng)大，但它像個(gè)新型命令行工具——輸入文本，輸出文本，很多人不知如何有效使用它。Jason Howell: 的確如此。我剛接觸 AI 時(shí)，雖然知道它潛力巨大，但不知從何入手，直到我自己用它解決實(shí)際問(wèn)題。Justin Uberti:與電腦對(duì)話對(duì)很多人仍是挑戰(zhàn)。處理重要事情時(shí)，人們更傾向于面對(duì)面或通過(guò)語(yǔ)音/視頻溝通。疫情期間，Google Meet 等工具的普及也印證了這一點(diǎn)。我們也應(yīng)期待 AI 以更自然的方式與我們互動(dòng)。語(yǔ)音是人類與生俱來(lái)的能力，它比文字更豐富。我們正處于 AI 能夠理解和運(yùn)用語(yǔ)音，并最終可能結(jié)合視覺(jué)進(jìn)行多模態(tài)交互的時(shí)代。在 Fixie，我們正構(gòu)建工具，讓 AI 更自然地使用語(yǔ)音交互。AI Town 就是這樣一個(gè)平臺(tái)，你可以在那里通過(guò)語(yǔ)音與 AI 交流。02與 AI 對(duì)話：「我們正回歸對(duì)話式社會(huì)」Jason Howell: 關(guān)于語(yǔ)音 AI，我想到的是視頻會(huì)議，你在 Hangouts Video 和 Duo 經(jīng)驗(yàn)豐富。現(xiàn)在應(yīng)用中的 AI 就像視頻會(huì)議中加入了智能體。隨著語(yǔ)音 AI 越來(lái)越像人類，它能解析對(duì)話并成為助手，AI 語(yǔ)音成為我們?cè)诰€對(duì)話一部分指日可待。或許這已發(fā)生，只是我未注意到。Justin Uberti:的確如此。語(yǔ)音部分的發(fā)展可能比助手部分更快。我們希望助手能代表我們行動(dòng)，但目前的 AI 缺乏內(nèi)部審查機(jī)制，難以判斷正確行動(dòng)。我們不放心讓 AI 代表我們做不可逆轉(zhuǎn)的事，例如發(fā)郵件或安排日程。但 AI 在對(duì)話中不易出錯(cuò)。大型語(yǔ)言模型擅長(zhǎng)對(duì)話，對(duì)話也具有自我修復(fù)特性。Jeff Jarvis: 我寫過(guò)一本書(shū) The Gutenberg Parenthesis，探討印刷和文本的時(shí)代。在此之前，社會(huì)是對(duì)話式的，后來(lái)被文本主導(dǎo)。我認(rèn)為我們正回歸對(duì)話式社會(huì)。廣播出現(xiàn)時(shí)，報(bào)紙堅(jiān)稱耳朵不是學(xué)習(xí)的好方法，必須通過(guò)眼睛。你認(rèn)為人們是否需要重新學(xué)習(xí)對(duì)話？Justin Uberti:人們知道如何與親友交談。與電腦交談可能需要適應(yīng)，但不難。有人曾說(shuō)人們不想與電腦交談，我說(shuō)你每天都在和電腦交談數(shù)小時(shí)， 他說(shuō)是用手指。我說(shuō)，想象一下，另一端是 AI。幾年后，你會(huì)以同樣方式看待與 AI 的對(duì)話，就像 Zoom 通話一樣。語(yǔ)音比文字傳遞的信息更多。Jeff Jarvis: GPT-4o 和 Scarlett Johansson 后（編者注：OpenAI 的 GPT-4o 語(yǔ)音助手因使用與電影 Her 演員 Scarlett Johansson 聲音相似的合成語(yǔ)音引發(fā)爭(zhēng)議），關(guān)于擬人化，讓人們相信他們?cè)谂c人類交談是你的目標(biāo)嗎？你想創(chuàng)建什么樣的倫理框架？Justin Uberti: 我們認(rèn)為這波浪潮即將到來(lái)，但正確的實(shí)驗(yàn)方式是在低風(fēng)險(xiǎn)環(huán)境中進(jìn)行，主要用于閑聊和娛樂(lè)，就像我們?cè)?AI Town 所做的。我們創(chuàng)建了一個(gè)環(huán)境，你可以在那里與不同的 AI 角色交談，它們有自己的生活，會(huì)發(fā)布社交媒體帖子，你可以給他們發(fā)短信，也可以語(yǔ)音通話。Jeff Jarvis: 你是這個(gè)領(lǐng)域的先驅(qū)，有機(jī)會(huì)定義這項(xiàng)技術(shù)的正確和錯(cuò)誤使用方式。你認(rèn)為這項(xiàng)技術(shù)的壞處是什么？Justin Uberti: 一些明顯的壞處包括克隆聲音用于欺詐。業(yè)內(nèi)領(lǐng)先的語(yǔ)音提供商正努力防止這種情況，例如對(duì)語(yǔ)音加水印，征得同意，甚至要求用戶錄制視頻并出示身份證明。另一個(gè)挑戰(zhàn)是，我們?cè)?jīng)相信出版的文本是真實(shí)的，但現(xiàn)在不是了。生成式 AI 也讓我們無(wú)法相信照片一定是真實(shí)的。語(yǔ)音也面臨同樣的問(wèn)題。Jeff Jarvis: 印刷術(shù)剛出現(xiàn)時(shí)，人們也不信任它，因?yàn)樗狈?lái)源。后來(lái)我們建立了機(jī)構(gòu)來(lái)驗(yàn)證真實(shí)性。我認(rèn)為這里的機(jī)會(huì)是，你的 AI 來(lái)自哪里？你的聲音來(lái)自哪里？它的來(lái)源、知識(shí)、行為以及是誰(shuí)把它帶給你的？這些都是重要的人類問(wèn)題，也是機(jī)遇。03人類為何與虛擬角色對(duì)話？以及「幻覺(jué)」的妙用Jason Howell: 你提到了 AI Town，它就像與虛擬或真實(shí)角色進(jìn)行語(yǔ)音對(duì)話，你也可以通過(guò)文字與他們交流。它是一個(gè)低風(fēng)險(xiǎn)的體驗(yàn)環(huán)境。你在用戶與網(wǎng)站上的角色互動(dòng)時(shí)，看到了哪些讓你感到驚訝的事情？Justin Uberti: 我們最初創(chuàng)建了 HiSanta.ai，讓人們與圣誕老人和精靈語(yǔ)音互動(dòng)。我們本以為這只是一個(gè)測(cè)試，但需求遠(yuǎn)超預(yù)期。我們意識(shí)到，人們很喜歡與虛構(gòu)角色，特別是那些耳熟能詳?shù)慕巧徽劇ＪフQ老人就是一個(gè)非常受歡迎的例子。我們還創(chuàng)造了一個(gè)「壞圣誕老人」，他也很受歡迎。我們希望人們能與 AI 角色進(jìn)行有趣對(duì)話，并發(fā)現(xiàn)人們真正感興趣的話題。事實(shí)證明，虛構(gòu)角色是樂(lè)趣和有趣對(duì)話的豐富來(lái)源。Jeff Jarvis: 創(chuàng)建一個(gè)虛構(gòu)角色需要做些什么？你需要多深入的描述？Justin Uberti:我們有一個(gè)優(yōu)化過(guò)的流程，你甚至可以通過(guò)語(yǔ)音完成。系統(tǒng)會(huì)問(wèn)你幾個(gè)問(wèn)題，幫助你構(gòu)建角色的背景故事。大型語(yǔ)言模型非常擅長(zhǎng)角色扮演。你告訴它你的身份、興趣等等，它就會(huì)順著你的描述進(jìn)行下去。我們通常認(rèn)為大型語(yǔ)言模型的「幻覺(jué)」不好，但在這種虛構(gòu)的 AI 角色場(chǎng)景中，「幻覺(jué)」反而是好事，因?yàn)樗梢匝a(bǔ)充角色個(gè)性。Jason Howell: 你提到了「幻覺(jué)」，我認(rèn)為它是否負(fù)面取決于具體情況。如果追求事實(shí)，那么「幻覺(jué)」不好。但如果追求創(chuàng)造力，「幻覺(jué)」則可能很棒。Jeff Jarvis: 《衛(wèi)報(bào)》最近刊登了一篇文章，認(rèn)為 AI 可以治愈人類的孤獨(dú)感。你的目標(biāo)有這么高尚嗎？或者只是為了娛樂(lè)？Justin Uberti: 這是一個(gè)相當(dāng)崇高的目標(biāo)。我們發(fā)現(xiàn) AI Town 的一個(gè)用例是幫助英語(yǔ)作為第二語(yǔ)言的人練習(xí)口語(yǔ)。他們可以在一個(gè)沒(méi)有評(píng)判的環(huán)境中與 AI 角色交談，甚至可以請(qǐng)角色指出錯(cuò)誤。Jason Howell: 這很有意義。因?yàn)槟悴槐負(fù)?dān)心被評(píng)判，你知道你交談的對(duì)象是 AI。Justin Uberti: 不被評(píng)判很重要。我認(rèn)為這可以幫助人們建立自信。04低延遲和語(yǔ)氣詞的作用Jason Howell: 在語(yǔ)音到語(yǔ)音模型的開(kāi)發(fā)過(guò)程中，你們遇到了哪些當(dāng)時(shí)沒(méi)有預(yù)料到的挑戰(zhàn)？Justin Uberti: 挑戰(zhàn)有很多。人耳對(duì)聲音非常敏感，很容易分辨出聲音的自然度。AI 的響應(yīng)速度至關(guān)重要。在 Duo、Google Meet 等產(chǎn)品中，我們的延遲標(biāo)準(zhǔn)是 250 毫秒。WebRTC 協(xié)議本身的設(shè)計(jì)就考慮到了低延遲的需求。人類對(duì)話的節(jié)奏非常快。如果延遲過(guò)高，就會(huì)出現(xiàn)一方打斷另一方，或者出現(xiàn)長(zhǎng)時(shí)間的停頓，這會(huì)影響對(duì)話的流暢性。超過(guò) 600 毫秒的延遲，聽(tīng)起來(lái)就會(huì)像是故意停頓的。所以，低延遲不僅僅是為了讓對(duì)話更流暢，它實(shí)際上會(huì)影響對(duì)話的語(yǔ)義理解。我們使用的 WebRTC 技術(shù)專注于低延遲，而且我認(rèn)為整個(gè) AI 生態(tài)系統(tǒng)都需要做出一些調(diào)整，來(lái)適應(yīng)低延遲的語(yǔ)音交互。Jeff Jarvis: 你們一定對(duì)人類對(duì)話的本質(zhì)做了很多研究吧。有什么有趣的發(fā)現(xiàn)可以分享嗎？Justin Uberti: 像「嗯」、「呃」這樣的語(yǔ)氣詞，通常被認(rèn)為是不規(guī)范的、應(yīng)該避免的。但實(shí)際上，它們是對(duì)話流程中的一部分，用來(lái)控制話語(yǔ)權(quán)的。Jason Howell: 這很有意思。我做播客的時(shí)候經(jīng)常用 AI 生成文字稿，「嗯」、「呃」這些語(yǔ)氣詞在文字稿和實(shí)際聽(tīng)到的效果完全不同。聽(tīng)的時(shí)候，它們可以連接上下文，讓對(duì)話更流暢。但在文字里，它們會(huì)顯得說(shuō)話的人表達(dá)不清。Jeff Jarvis: 我記得我第一次接受媒體采訪的時(shí)候，制作人告訴我他們會(huì)對(duì)我的話進(jìn)行大量的剪輯。他特意告訴我這一點(diǎn)，是因?yàn)樗牢視?huì)經(jīng)常在一個(gè)句子中間重新開(kāi)始，而他們會(huì)把這些重新開(kāi)始的部分剪掉。他們還做過(guò)一期節(jié)目，把所有人的「嗯」和「呃」都去掉了，這樣顯得嘉賓更聰明。這就引出一個(gè)新聞倫理的問(wèn)題：你是應(yīng)該展現(xiàn)一個(gè)人的真實(shí)狀態(tài)，還是出于某種「禮貌」，在文字稿里去掉這些語(yǔ)氣詞？我們?nèi)绾瓮ㄟ^(guò)一個(gè)人的說(shuō)話方式來(lái)判斷他的智力水平，這真是一個(gè)耐人尋味的問(wèn)題。Justin Uberti: 即興講話的時(shí)候，很難組織出非常嚴(yán)謹(jǐn)?shù)亩温洹Ｄ阍陂_(kāi)口之前，并不會(huì)完全想好要說(shuō)什么。你在報(bào)紙上看到的引語(yǔ)，通常都經(jīng)過(guò)了潤(rùn)色，去掉了所有的錯(cuò)誤和語(yǔ)氣詞。現(xiàn)在，對(duì)視頻或音頻內(nèi)容進(jìn)行同樣的處理，也會(huì)產(chǎn)生類似的效果。但我認(rèn)為，這樣做會(huì)扭曲說(shuō)話者的真實(shí)形象。05「我們正處于第二代語(yǔ)音 AI 發(fā)展的時(shí)代」Jeff Jarvis: 你們會(huì)為 AI 添加這些人類語(yǔ)氣詞嗎？比如英國(guó)人常用的 「sort of」，美國(guó)人常用的 「like」 或 「you know」？你們會(huì)在 AI 的輸出中加入這些嗎？Justin Uberti: 這可以看作是語(yǔ)音技術(shù)從第一代到第二代的演進(jìn)。OpenAI 的 GPT-4o 語(yǔ)音模式可以被視為第二代。第一代是語(yǔ)音轉(zhuǎn)文本，然后通過(guò) LLM 處理，最后再文本轉(zhuǎn)語(yǔ)音。在這個(gè)過(guò)程中，沒(méi)有語(yǔ)氣詞，因?yàn)榇笮驼Z(yǔ)言模型沒(méi)有接受過(guò)這方面的訓(xùn)練。第二代模型則直接處理語(yǔ)音輸入和輸出，沒(méi)有中間的文本轉(zhuǎn)換步驟。在這種模式下，訓(xùn)練數(shù)據(jù)中包含了語(yǔ)氣詞等對(duì)話特征。這些特征最終會(huì)成為語(yǔ)音 AI 的一部分，因?yàn)橐嬲齾⑴c對(duì)話，就需要能夠使用這些語(yǔ)氣詞。雖然 AI 不需要像人類一樣停頓思考，但在某些情況下，例如檢索信息時(shí)，AI 的響應(yīng)速度可能會(huì)變慢。這時(shí)，使用語(yǔ)氣詞可以讓對(duì)話更自然流暢，避免尷尬的停頓。Jason Howell: 不過(guò)，我也能預(yù)見(jiàn)到很多人會(huì)因此批評(píng) AI，認(rèn)為它沒(méi)必要使用語(yǔ)氣詞。我們?nèi)祟愋枰?AI 不需要。但我認(rèn)為，如果我們能克服這種觀念，或許可以讓對(duì)話感覺(jué)更自然。Justin Uberti: 我們正處于第二代語(yǔ)音 AI 發(fā)展的時(shí)代，我認(rèn)為我們終將找到將人類對(duì)話的細(xì)微特征映射到 AI 交互中的方法。這將會(huì)非常有趣。在不久的將來(lái)，你可能閉上眼睛，都無(wú)法分辨是在與人還是與 AI 交談。我認(rèn)為這將極大地促進(jìn)像 ChatGPT 這樣的技術(shù)的發(fā)展，并吸引更廣泛的用戶，因?yàn)槟阒恍枰c它交談即可，非常便捷。Jason Howell: 除了 AI Town，F(xiàn)ixie 目前還有哪些其他項(xiàng)目？Justin Uberti: 我們最近開(kāi)源了一個(gè)名為 Ultravox.ai 的語(yǔ)音 AI 模型，這是一個(gè)非常令人興奮的項(xiàng)目。它基于 Meta 的 Llama 3，并進(jìn)行了多模態(tài)擴(kuò)展，能夠理解語(yǔ)音并進(jìn)行多模態(tài)交互，可以應(yīng)用于像 AI Town 這樣的場(chǎng)景，實(shí)現(xiàn)更快速、更自然的語(yǔ)音交互體驗(yàn)。我們希望通過(guò)開(kāi)源這個(gè)模型，推動(dòng)語(yǔ)音 AI 技術(shù)的快速發(fā)展，讓更多人受益。此外，我們還創(chuàng)建了 thefastest.ai 排行榜，用于跟蹤哪些大規(guī)模語(yǔ)言模型的速度最快，以便在低延遲的語(yǔ)音交互場(chǎng)景中使用。我們非常關(guān)注速度，因?yàn)榈脱舆t是實(shí)現(xiàn)流暢自然語(yǔ)音交互的關(guān)鍵。Jason Howell: 真是非常精彩的工作！Justin，感謝你今天與我們分享這些寶貴的見(jiàn)解。原文：https://aiinside.show/episode/the-future-of-voice-interaction-with-justin-uberti編譯：傅豐元社區(qū)技術(shù)顧問(wèn)：付則宇

更多閱讀來(lái)自開(kāi)發(fā)者的AI編程上手實(shí)戰(zhàn)：如何用AI 提高編碼效率？哪款工具最好用？150億美元估值、從20日活到2億月活，Discord做對(duì)了什么?拿下諾貝爾獎(jiǎng)、Anthropic創(chuàng)始人最看好的領(lǐng)域，AI for Science行業(yè)萬(wàn)字解析做出最好大模型的 CEO，不認(rèn)為 Scaling Law 撞墻了轉(zhuǎn)載原創(chuàng)文章請(qǐng)?zhí)硇牛篺ounderparker