性能比肩 Transducer 和 CTC/AED。

原標(biāo)題：ICLR 2025｜小米新一代Kaldi語音識(shí)別算法CR-CTC，純CTC性能實(shí)現(xiàn)SOTA
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：8281字

小米新一代Kaldi團(tuán)隊(duì)提出CR-CTC：顯著提升CTC語音識(shí)別性能

本文總結(jié)了小米新一代Kaldi團(tuán)隊(duì)發(fā)表在ICLR 2025上的論文《CR-CTC: Consistency regularization on CTC for improved speech recognition》的主要內(nèi)容。該論文提出了一種名為CR-CTC (Consistency-Regularized CTC) 的新方法，顯著提升了基于連接時(shí)序分類 (CTC) 的自動(dòng)語音識(shí)別 (ASR) 模型的性能，使其達(dá)到甚至超越了Transducer和CTC/AED等更復(fù)雜模型的水平。

1. CR-CTC方法概述

CR-CTC的核心思想是通過一致性正則化來約束來自同一輸入音頻的兩個(gè)增強(qiáng)視圖的CTC概率分布。具體來說，它先對(duì)輸入的Mel-spectrogram應(yīng)用SpecAugment進(jìn)行數(shù)據(jù)增強(qiáng)，得到兩個(gè)不同的增強(qiáng)視圖；然后，將這兩個(gè)視圖分別輸入到參數(shù)共享的編碼器模型中，得到對(duì)應(yīng)的兩個(gè)CTC概率分布；最后，除了計(jì)算兩個(gè)CTC損失函數(shù)外，還引入一致性正則化損失，最小化兩個(gè)分布之間的雙向KL散度。總損失函數(shù)為CTC損失和一致性正則化損失的加權(quán)和。

2. CR-CTC方法的解釋

論文從三個(gè)角度解釋了CR-CTC的有效性：1）自蒸餾(self-distillation)：CR-CTC可以看作是對(duì)不同增強(qiáng)視圖下模型的子模型進(jìn)行自蒸餾，增強(qiáng)模型的泛化能力；2）掩碼預(yù)測(cè)(masked prediction)：CR-CTC鼓勵(lì)模型利用未被掩碼的區(qū)域信息預(yù)測(cè)被掩碼區(qū)域的token分布，提升上下文表征能力；3）峰值抑制(peak suppression)：CR-CTC使CTC分布更加平滑，降低模型對(duì)訓(xùn)練數(shù)據(jù)的過度依賴，提高泛化能力。

3. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，CR-CTC在LibriSpeech、Aishell-1和GigaSpeech等多個(gè)主流ASR數(shù)據(jù)集上取得了新的SOTA結(jié)果，且無需依賴外部訓(xùn)練數(shù)據(jù)和語言模型。與標(biāo)準(zhǔn)CTC相比，CR-CTC的性能有顯著提升，與CTC/AED和Transducer模型的性能相當(dāng)甚至更好。此外，將CR-CTC與CTC/AED和Transducer模型聯(lián)合訓(xùn)練，可以進(jìn)一步提升其性能。

4. 與其他方法的比較

論文還將CR-CTC與其他提升CTC性能的方法進(jìn)行了比較，例如添加輔助頭(AED head)或Transducer head進(jìn)行聯(lián)合訓(xùn)練。結(jié)果顯示，CR-CTC的性能顯著優(yōu)于這些方法，并且參數(shù)量更少。

5. 結(jié)論

CR-CTC是一種簡(jiǎn)單有效的提升CTC語音識(shí)別性能的方法，它在多個(gè)數(shù)據(jù)集上取得了SOTA結(jié)果，為基于CTC的ASR系統(tǒng)提供了一種新的改進(jìn)思路。其簡(jiǎn)潔的實(shí)現(xiàn)和顯著的性能提升使其具有重要的應(yīng)用價(jià)值。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)