關于有效使用Realtime API的一切。

原標題：OpenAI工程師親自修訂：用ChatGPT實時語音API構建應用
文章來源：機器之心
內容字數：20999字

OpenAI Realtime API詳解：構建快速語音轉語音智能體驗

本文總結了來自latent.space一篇關于使用OpenAI Realtime API構建語音AI智能體的博客文章要點，該文章由Daily.co工程師撰寫并經OpenAI員工審核，詳細介紹了使用該API構建Pipecat（一個實時API框架）的經驗教訓。

1. 從Pipeline到端到端模型

文章首先回顧了早期使用GPT-4構建語音模型的方法：將語音輸入轉換為文本提示，再由GPT-4處理，最后轉換為語音輸出。這種多模型pipeline方法存在延遲高、GPT-4可能偏離軌道等問題。隨著GPT-4的更新和實時API的發布，這些問題得到了顯著改善。

2. OpenAI Realtime API的優勢

OpenAI Realtime API于2023年10月1日發布，它是一個低延遲、多模態API，利用GPT-4o的語音到語音功能，能夠管理對話狀態、實現短語端點檢測、提供雙向音頻流，并支持用戶中斷LLM輸出。其最簡單的處理pipeline為：[語音輸入] ? [GPT-4o] ? [語音輸出]，顯著簡化了開發流程。

3. 架構與機制

實時API通過WebSocket連接定義了一系列，包括9種客戶端和28種服務器。這種結構使得Python中的最小命令行客戶端代碼量僅需75行左右。API支持未壓縮的16位、24kHz音頻和壓縮的G.711音頻，但建議使用未壓縮音頻以獲得更好的質量。

4. 延遲與句尾檢測

文章強調了低延遲在對話式AI中的重要性，并介紹了OpenAI Realtime API在延遲方面的優勢。同時，詳細解釋了句尾檢測（短語終點檢測）和打斷處理機制，以及如何配置VAD參數以優化用戶體驗。文章還提到了使用上下文感知短語端點和貪婪推理等技術來進一步減少延遲。

5. 上下文管理

實時API自動管理對話上下文，簡化代碼并降低延遲。但需要注意最大上下文長度（128000 tokens）和最大對話時間（15分鐘）的限制。文章介紹了如何通過保存對話歷史記錄來實現持久對話，以及如何使用`對話.item.truncate`來確保上下文與用戶聽到的音頻范圍匹配。

6. 函數調用與成本

實時API中的函數調用運行良好，但其格式與OpenAI HTTP API略有不同。文章提供了代碼示例，展示了如何處理函數調用。關于成本，文章指出其與會話長度相關，但緩存的音頻tokens成本比非緩存的低80%。文章還提供了一個成本計算器表格，方便用戶估算成本。

7. WebSockets與WebRTC

實時API使用WebSockets進行網絡傳輸，但對于對延遲要求嚴格的瀏覽器或原生移動應用，建議使用WebRTC連接，以避免WebSockets的“首阻塞問題”和TCP重傳帶來的延遲。

8. 回聲消除與音頻處理

文章建議使用Chrome和Safari瀏覽器進行開發和測試，因為它們的回聲消除和音頻流管理功能更穩定。回聲消除應在客戶端設備上完成，而其他類型的音頻處理可以在服務器端實現。

9. API設計與Pipecat框架

文章最后比較了OpenAI實時API和Pipecat框架的設計差異，并展示了如何在Pipecat中集成實時API，以及如何構建更復雜的語音AI pipeline。

總而言之，這篇博客文章為開發者提供了使用OpenAI Realtime API構建語音AI產品的全面指南，涵蓋了技術細節、最佳實踐和潛在挑戰，對于想要構建此類產品的開發者具有很高的參考價值。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺