Dolphin

Dolphin – 清華聯(lián)合海天瑞聲推出的語(yǔ)音識(shí)別大模型

Dolphin是清華大學(xué)電子工程系語(yǔ)音與音頻技術(shù)實(shí)驗(yàn)室與海天瑞聲共同研發(fā)的一款面向東方語(yǔ)言的語(yǔ)音識(shí)別大模型。它支持40種東方語(yǔ)言的語(yǔ)音識(shí)別，尤其在中文方面，涵蓋22種方言（包括普通話），能夠精準(zhǔn)捕捉不同地區(qū)的語(yǔ)言特征。Dolphin的訓(xùn)練數(shù)據(jù)總時(shí)長(zhǎng)達(dá)到21.2萬(wàn)小時(shí)，其中高質(zhì)量專(zhuān)有數(shù)據(jù)為13.8萬(wàn)小時(shí)，開(kāi)源數(shù)據(jù)為7.4萬(wàn)小時(shí)。與同等尺寸的Whisper模型相比，Dolphin在詞錯(cuò)率（WER）上表現(xiàn)出色，如base版本的平均WER下降了63.1%，而small版本則降低了68.2%。該模型采用CTC-Attention架構(gòu)，結(jié)合E-Branchformer編碼器與Transformer解碼器，通過(guò)4倍下采樣層提升計(jì)算速度，同時(shí)保留關(guān)鍵信息。

Dolphin是什么

Dolphin是由清華大學(xué)電子工程系語(yǔ)音與音頻技術(shù)實(shí)驗(yàn)室與海天瑞聲共同推出的針對(duì)東方語(yǔ)言的語(yǔ)音大模型。它支持40種東方語(yǔ)言的語(yǔ)音識(shí)別，中文方面涵蓋22種方言（包括普通話），能夠精準(zhǔn)識(shí)別不同地區(qū)的語(yǔ)言特點(diǎn)。模型的訓(xùn)練數(shù)據(jù)總時(shí)長(zhǎng)達(dá)到21.2萬(wàn)小時(shí)，其中高質(zhì)量專(zhuān)有數(shù)據(jù)占13.8萬(wàn)小時(shí)，開(kāi)源數(shù)據(jù)為7.4萬(wàn)小時(shí)。Dolphin在性能上表現(xiàn)優(yōu)異，其詞錯(cuò)率（WER）明顯低于同尺寸的Whisper模型，base版本平均WER降低63.1%，small版本降低68.2%。該模型采用CTC-Attention架構(gòu)，結(jié)合E-Branchformer編碼器與Transformer解碼器，通過(guò)4倍下采樣層加速計(jì)算并保留關(guān)鍵語(yǔ)音信息。

Dolphin的主要功能

• 多語(yǔ)言及方言識(shí)別：Dolphin支持40種東方語(yǔ)言的語(yǔ)音識(shí)別，廣泛覆蓋不同語(yǔ)言環(huán)境，滿足多樣化的語(yǔ)音識(shí)別需求。
• 高精度語(yǔ)音轉(zhuǎn)文字：Dolphin能夠高效且準(zhǔn)確地將語(yǔ)音信號(hào)轉(zhuǎn)換為文本，確保在多語(yǔ)言和方言的識(shí)別任務(wù)中保持較高的準(zhǔn)確率，減少錯(cuò)誤和誤解。
• 自定義語(yǔ)言和地區(qū)設(shè)置：用戶可以根據(jù)需求靈活指定識(shí)別的語(yǔ)言和地區(qū)。Dolphin采用兩級(jí)語(yǔ)種標(biāo)簽系統(tǒng)，第一標(biāo)簽指定語(yǔ)種（如<zh>表示中文），第二標(biāo)簽指定地區(qū)（如<CN>表示中國(guó)），使模型能夠精準(zhǔn)捕捉同一種語(yǔ)言內(nèi)不同方言和口音的差異，從而提高識(shí)別效果。
• 開(kāi)源支持與二次開(kāi)發(fā)：Dolphin的base與small版本模型以及推理代碼完全開(kāi)源，為開(kāi)發(fā)者提供了極大的便利。通過(guò)開(kāi)源特性，開(kāi)發(fā)者能夠根據(jù)自身需求對(duì)模型進(jìn)行二次開(kāi)發(fā)和優(yōu)化，滿足個(gè)性化需求，推動(dòng)語(yǔ)音識(shí)別技術(shù)在更多領(lǐng)域的應(yīng)用與創(chuàng)新。
• 方便快捷的使用方式：Dolphin提供多種使用方式，包括命令行調(diào)用和Python接口調(diào)用，用戶可以通過(guò)簡(jiǎn)單的命令行指令快速啟動(dòng)語(yǔ)音識(shí)別任務(wù)，或在Python環(huán)境中靈活調(diào)用模型進(jìn)行語(yǔ)音處理，提高開(kāi)發(fā)效率和應(yīng)用靈活性。

Dolphin的技術(shù)原理

• CTC-Attention架構(gòu)：Dolphin采用CTC-Attention架構(gòu)，結(jié)合了CTC的序列建模能力與注意力機(jī)制的上下文捕捉能力，有效處理復(fù)雜音頻輸入時(shí)，保持高效處理速度，提升模型準(zhǔn)確性和效率。
• E-Branchformer編碼器：E-Branchformer編碼器采用并行分支結(jié)構(gòu)，有效捕捉輸入語(yǔ)音信號(hào)的局部與全局依賴(lài)關(guān)系，為模型提供豐富特征表示，提升識(shí)別準(zhǔn)確性。
• Transformer解碼器：Dolphin的解碼器采用Transformer架構(gòu)，在序列到序列任務(wù)中表現(xiàn)優(yōu)秀，生成高質(zhì)量文本輸出。自注意力機(jī)制有效捕捉文本中的長(zhǎng)距離依賴(lài)，確保輸出文本的連貫性與質(zhì)量。
• 4倍下采樣層：為進(jìn)一步提升訓(xùn)練效率與性能，Dolphin引入4倍下采樣層，減少輸入特征序列長(zhǎng)度，加速計(jì)算，同時(shí)保留重要語(yǔ)音信息，確保模型識(shí)別效果。
• 兩級(jí)語(yǔ)種標(biāo)簽系統(tǒng)：Dolphin引入創(chuàng)新性的兩級(jí)語(yǔ)種標(biāo)簽系統(tǒng)，第一標(biāo)簽指定語(yǔ)種（例如<zh>表示中文），第二標(biāo)簽指定地區(qū)（例如<CN>表示中國(guó)），增強(qiáng)模型對(duì)方言和語(yǔ)言相似性的捕捉能力。

Dolphin的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/DataoceanAI/Dolphin
• HuggingFace模型庫(kù)：https://huggingface.co/DataoceanAI
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.20212

Dolphin的應(yīng)用場(chǎng)景

• 會(huì)議記錄：自動(dòng)將會(huì)議中的語(yǔ)音內(nèi)容轉(zhuǎn)化為文字記錄，提升工作效率。
• 語(yǔ)音輸入法：在智能設(shè)備上，用戶能夠通過(guò)語(yǔ)音輸入文字，減少手動(dòng)輸入的煩惱，提升輸入速度與便利性。
• 智能語(yǔ)音助手：支持多種語(yǔ)言和方言，能夠更好地理解用戶的語(yǔ)音指令，提供準(zhǔn)確反饋，減少因方言或口音引起的誤解。
• 智能家居：用戶可以通過(guò)語(yǔ)音控制智能家居設(shè)備，例如燈光、空調(diào)等，提升家居智能化和便利性。
• 新聞媒體：快速將新聞采訪、播客等語(yǔ)音內(nèi)容轉(zhuǎn)化為文字，方便編輯與發(fā)布。
• 語(yǔ)言學(xué)習(xí)：支持多種語(yǔ)言和方言的識(shí)別，幫助學(xué)生練習(xí)發(fā)音與語(yǔ)言表達(dá)。

常見(jiàn)問(wèn)題

• Dolphin支持哪些語(yǔ)言和方言？：Dolphin支持40種東方語(yǔ)言的語(yǔ)音識(shí)別，其中中文涵蓋了22種方言。
• 如何使用Dolphin進(jìn)行語(yǔ)音識(shí)別？：用戶可以通過(guò)命令行或Python接口調(diào)用Dolphin進(jìn)行語(yǔ)音識(shí)別任務(wù)，使用簡(jiǎn)單的指令即可啟動(dòng)。
• Dolphin是開(kāi)源的嗎？：是的，Dolphin的base和small版本模型及推理代碼均已開(kāi)源，開(kāi)發(fā)者可以使用和改進(jìn)。
• 如何進(jìn)行模型微調(diào)？：用戶可以根據(jù)自身需求，利用開(kāi)源代碼進(jìn)行模型的二次開(kāi)發(fā)和微調(diào)，以適應(yīng)特定的應(yīng)用場(chǎng)景。