精準適配數學推理場景。

原標題：NeurIPS 2024 | 數學推理場景下，首個分布外檢測研究成果來了
文章來源：機器之心
內容字數：6314字

數學推理場景下的分布外檢測研究成果

本文介紹了一項關于數學推理場景下分布外檢測（OOD檢測）的研究，該研究已被NeurIPS 2024接收。研究由上海交通大學與阿里巴巴通義實驗室合作完成，第一作者王一鳴是一名二年級博士生，研究方向涉及語言模型生成與推理。

1. 研究背景與挑戰

分布外檢測是確保深度學習模型在面對偏移數據時輸出可控結果的重要手段。隨著語言模型的進步，復雜生成序列中的錯誤傳播使得OOD數據的負面影響加劇。傳統的檢測方法在數學推理任務中面臨困境，因為數學問題的輸入輸出特征聚類不明顯且具有高密度疊加特性，研究團隊稱之為“模式坍縮”。

2. 動態Embedding軌跡的提出

為應對上述挑戰，研究團隊提出了一種基于動態Embedding軌跡的新型OOD檢測算法，稱為“TV Score”。該方法通過記錄語言模型中每一層輸出的Embedding變化，來量化樣本在ID和OOD類別中的可能性。研究表明，OOD樣本的Embedding軌跡具有顯著的個性化差異，且在后期隱藏層的變化幅度更為顯著。

3. TV Score的計算方法

TV Score的計算分為三個步驟：首先，為ID樣本的每一層Embedding擬合高斯分布；其次，計算新樣本與其層高斯分布間的馬氏距離；最后，得出一個平均值作為樣本的最終軌跡波動率得分。此外，研究團隊還引入了差分平滑技術，以提高特征提取的精度。

4. 實驗與結果

研究團隊在11個數學推理數據集上進行了實驗，結果表明，TV Score在離線檢測和在線檢測場景中均展現了優越的性能。在Far-shift OOD場景下，TV Score的AUROC指標提高了10個點以上，且FPR95指標顯著降低。在Near-shift OOD場景中，TV Score展現出了更強的魯棒性。

5. 泛化與總結

研究還測試了TV Score的泛化性，包括任務泛化和場景泛化，結果顯示TV Score在多種場景下均表現良好。總之，該研究為數學推理場景下的OOD檢測提供了新的思路，展示了傳統檢測算法的局限性以及動態Embedding軌跡方法的適用性，為未來的研究方向奠定了基礎。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺