Chinese-LiPS – 智源研究院聯合南大開源的中文多模態語音識別數據集

Chinese-LiPS 是一個由智源研究院與南開大手開發的高質量中文多模態語音識別數據集，涵蓋了100小時的語音、視頻以及手動轉錄文本。該數據集創新性地將唇讀視頻與演講者的幻燈片內容相結合，幻燈片由領域專家精心設計，確保視覺內容的高質量和豐富性。通過融合唇讀和幻燈片信息，Chinese-LiPS 顯著提升了語音識別的性能。實驗結果顯示，唇讀和幻燈片信息的結合可以分別提升語音識別性能約8%和25%，兩者共同使用時，則可實現約35%的性能提升。這使得該數據集在中文講解、科普、教學和知識傳播等復雜語境中具有重要的應用價值。

Chinese-LiPS是什么

Chinese-LiPS 是智源研究院與南開大合開發的高質量中文多模態語音識別數據集，包含100小時的語音、視頻和手動轉錄文本。數據集獨特地結合了唇讀視頻和演講者的幻燈片內容，幻燈片由領域專家精心設計，確保了視覺內容的質量與多樣性。通過整合唇讀信息和幻燈片信息，Chinese-LiPS 有效提升了語音識別系統的性能。實驗表明，唇讀信息和幻燈片信息分別可使語音識別性能提高約8%和25%，而兩者結合使用則可提升約35%。該數據集適用于中文講解、科普、教學和知識傳播等復雜應用場景。

Chinese-LiPS的主要功能

• 提升語音識別性能：通過融合唇讀信息和幻燈片語義內容，Chinese-LiPS 顯著提升了語音識別系統的準確性。實驗結果顯示，唇讀信息能減少約8%的字符錯誤率，而幻燈片信息則能減少約25%，兩者結合使用可降低約35%的錯誤率。
• 減少錯誤類型：唇讀信息在降低刪除錯誤方面發揮了關鍵作用，能夠捕捉與發音相關的細微細節，補充語音識別中常常遺漏的部分，如填充詞和因猶豫而未完整表達的語音片段。幻燈片信息則顯著降低了替換錯誤，為模型提供了豐富的語義和上下文信息，尤其在識別專業術語和地名等特定領域詞匯時，提供了重要的識別線索。
• 提供高質量多模態數據：作為一個高質量的多模態中文語音識別數據集，Chinese-LiPS 包含100小時的語音、視頻以及相應的手動轉錄。該數據集全面支持音頻視覺語音識別任務的深入研究。

Chinese-LiPS的項目地址

• 項目官網：https://data.baai.ac.cn/datadetail/Chinese-LiPS
• Github倉庫：https://github.com/flageval-baai/Chinese-LiPS
• HuggingFace模型庫：https://huggingface.co/datasets/BAAI/Chinese-LiPS
• arXiv技術論文：https://arxiv.org/pdf/2504.15066

Chinese-LiPS的應用場景

• 虛擬教師：利用該數據集，開發者可以制作互動式語言學習材料，使虛擬教師的講解更加生動。通過結合唇讀信息和幻燈片語義，虛擬教師能夠更自然地呈現教學內容，從而提升教學效果。
• 智能輔導：在智能輔導系統中，基于多模態語音識別技術，能夠更準確地理解學生的問題與需求，提供更加個性化的輔導方案。
• 博物館、展覽館講解：在博物館和展覽館等場所，虛擬講解人可以使用數據集提供的多模態信息，更生動、準確地介紹展品和展覽內容，提升觀眾的參觀體驗。
• 企業產品介紹：企業可利用數據集制作虛擬講解人，用于產品介紹和培訓等場景，提升信息傳遞的效率和準確性。

常見問題

• Chinese-LiPS的數據集適合哪類項目？：該數據集適合用于語音識別、虛擬教學、智能輔導和多模態信息處理等多個領域的研究和開發。
• 如何獲取Chinese-LiPS數據集？：用戶可以通過項目官網或GitHub倉庫下載數據集，具體的下載鏈接已在上文提供。
• Chinese-LiPS數據集的使用限制是什么？：使用者需遵循相關的使用協議和規定，確保數據集的合法使用。