SignLLM

SignLLM – 多語言手語生成模型，文字輸入生成對應的手語視頻

SignLLM是什么

SignLLM 是一款性的多語言手語生成模型，能夠將文字輸入轉化為相應的手語視頻。作為全球首個支持多國手語的系統，它涵蓋了美國手語（ASL）、德國手語（GSL）、阿根廷手語（LSA）、韓國手語（KSL）等八種語言。該模型基于 Prompt2Sign 數據集開發，利用先進的自動化技術從網絡中采集和處理手語視頻，并結合新穎的損失函數和強化學習模塊，以實現高效的數據提取和模型訓練。

SignLLM的主要功能

• 手語視頻生成：能夠將輸入的文本自然流暢地轉換為手語手勢視頻，適用于多種語言。
• 多語言支持：支持覆蓋八種手語，服務于不同國家和地區的需求。
• 高效訓練與優化：通過強化學習模塊加速模型訓練，提高數據采樣的質量。
• 風格遷移與微調：將生成的手語視頻調整為逼真的表現，接近真人手語的效果。
• 教育與翻譯支持：可應用于手語教學、手語翻譯，為聾人群體提供溝通幫助。

SignLLM的技術原理

• 離散化與層次化表示：SignLLM通過兩個核心模塊實現手語視頻的離散化和層次化表示。首先，向量量化視覺手語（VQ-Sign）模塊將手語視頻拆分為一系列離散的字符級標記，類似于自然語言中的字符。隨后，碼本重建與對齊（CRA）模塊將這些字符組合成詞匯級標記，形成具有層次結構的手語句子。
• 自監督學習與上下文預測：VQ-Sign模塊采用上下文預測任務進行自監督學習，而非傳統的視頻重建方式，從而在不重建高維視頻數據的情況下，捕捉手語視頻的時間依賴性和語義關系。
• 符號-文本對齊：為進一步提高手語標記與文本標記之間的語義兼容性，SignLLM引入最大平均差異（MMD）損失函數，將手語標記的嵌入空間與文本標記的嵌入空間進行對齊。
• 與LLM的結合：SignLLM將生成的手語句子與凍結的LLM結合，通過文本提示引導LLM生成目標語言的翻譯，利用LLM強大的翻譯能力，實現高效的手語到文本翻譯。
• 訓練與推理：SignLLM的訓練分為預訓練和微調兩個階段，預訓練階段包括上下文預測任務和碼本對齊，微調階段則進一步優化模型性能。

SignLLM的項目地址

• 項目官網：https://signllm.github.io/
• Github倉庫：https://github.com/SignLLM
• arXiv技術論文：https://arxiv.org/pdf/2405.10718

SignLLM的應用場景

• 教育領域：作為虛擬手語教師，SignLLM能夠將文本實時轉化為手語手勢視頻，幫助學生更加直觀地學習手語，提升學習效率。
• 醫療場景：在醫院等醫療環境中，SignLLM可以將醫生的語音或文字即時轉換為手語，幫助聽障患者更準確地描述癥狀并理解醫囑，提升就醫體驗。
• 法律與公共服務：在法庭或法律咨詢中，SignLLM可以提供精確的手語翻譯，確保聽障人士在法律事務中具備平等的溝通機會。此外，在公共服務或客戶服務中，能即時提供手語翻譯，便利聽障群體。
• 娛樂與媒體：SignLLM能夠為電影、電視節目或網絡視頻提供實時手語翻譯，豐富聽障群體的文化生活。
• 日常生活：個人用戶可以利用SignLLM進行日常交流，例如與聽障朋友對話或在安靜的環境中溝通。