VideoChat是一個開源的實時數字人對話系統，允許用戶通過語音與數字人進行即時交互。該系統支持用戶自定義數字人的外觀和聲音，無需任何訓練即可實現音色克隆，首包延遲可低至3秒，適合直播、新聞播報、助手等多種實時語音交互場景。VideoChat支持GLM-4-Voice，并提供兩種生成方式：ASR-LLM-TTS-THG和MLLM-THG。該系統基于Gradio框架構建，支持流式視頻輸出，便于快速部署和開發。

VideoChat是什么

VideoChat是一款開源的實時數字人對話系統，能夠支持用戶通過語音與數字人進行即時的對話互動。用戶可以根據自身需求自定義數字人的形象和音色，且無需進行訓練即可實現音色的克隆，首包延遲可低至3秒，廣泛應用于直播、新聞播報和助手等各種實時語音交互場景。該系統兼容GLM-4-Voice，提供ASR-LLM-TTS-THG和MLLM-THG兩種生成模式。VideoChat使用Gradio框架構建交互式應用，支持流式視頻輸出，確保了交互的流暢性。

VideoChat的主要功能

• 實時語音交互：用戶可以通過語音與數字人進行即時對話。
• 形象和音色自定義：用戶能夠根據需要選擇或設計數字人的外觀和聲音，實現個性化的互動體驗。
• 語音輸入和文本轉換：將用戶的語音輸入轉化為文本，并基于大語言模型生成相應的回復。
• 唇形同步：數字人在發聲時，嘴唇動作與聲音同步，增強真實感。
• 流式視頻輸出：基于Gradio框架，支持流式視頻輸出，提升交互的流暢度。

VideoChat的技術原理

• 語音識別（ASR）：借助FunASR等工具將用戶的語音輸入轉換為文本。
• 大語言模型（LLM）：運用通義千問等模型根據輸入文本生成相應的回復。
• 文本轉語音（TTS）：使用GPT-SoVITS等工具將文本回復轉換為語音。
• 說話人生成（THG）：通過MuseTalk等方案生成與語音同步的數字人視頻。
• 流式輸出并行流水線：基于并行處理技術，邊進行推理邊播放，提升響應速度。
• Gradio框架：采用Gradio 5實現流式視頻輸出，便于部署和構建交互式應用。

VideoChat的項目地址

• GitHub倉庫：https://github.com/Henry-23/VideoChat
• 在線體驗Demo：https://www.modelscope.cn/studios/AI-ModelScope/video_chat

VideoChat的應用場景

• 客戶服務：作為虛擬客服，提供全天候咨詢服務，解答用戶疑問，降低企業人力成本。
• 在線教育：作為虛擬教師，提供語言學習和課程講解等服務，提升學習的互動性與趣味性。
• 新聞播報：在新聞行業中，利用數字人形式播報新聞，提高效率和吸引力。
• 直播行業：作為虛擬主播進行產品介紹和直播帶貨，增強直播的互動性和觀眾體驗。
• 娛樂互動：在游戲和虛擬演唱會等娛樂領域，提供更加豐富的互動體驗。

常見問題

• VideoChat是否免費使用？：是的，VideoChat是一個開源項目，用戶可以免費使用。
• 如何自定義數字人的形象和聲音？：用戶可以通過系統提供的選項或上傳自己的素材進行定制。
• VideoChat適合哪些行業？：適用于客戶服務、在線教育、新聞播報、直播等多個行業。
• 如何獲取技術支持？：用戶可以訪問GitHub倉庫獲取相關文檔和支持。