開放域和封閉域TLS都更高效了

原標題：用大模型吃瓜更智能了！阿里通義實驗室提出新時間線總結框架，全面提升新聞總結效率
文章來源：量子位
內容字數：8181字

阿里巴巴和上海交大提出CHRONOS框架：AI幫你梳理新聞時間線

阿里巴巴通義實驗室與上海交通大學的研究人員提出了一種基于Agent的新聞時間線摘要新框架——CHRONOS，旨在幫助用戶更方便地梳理復雜新聞的時間線。該框架模擬人類信息檢索過程，通過迭代多輪自我提問，結合檢索增強生成技術，從互聯網上檢索相關信息，生成時間順序的新聞摘要。

1. 開放域時間線總結的挑戰

時間線總結（TLS）任務旨在從大量文本中提取關鍵并按時間順序排列。開放域TLS（從互聯網檢索信息）比封閉域TLS（從預定義文章中提取）更具挑戰性，因為它需要強大的信息檢索和篩選能力，以及在沒有全局視圖的情況下識別和建立之間聯系的能力。

2. CHRONOS框架：迭代檢索，精準總結

CHRONOS框架通過迭代提問進行相關檢索，生成準確、全面的時間線摘要，有效解決了開放域和封閉域TLS任務。其核心模塊包括：

1. 自我提問 (Self-Questioning)：初始階段使用目標新聞標題進行搜索，收集初步信息，然后迭代提問，檢索更多相關新聞。
2. 問題改寫 (Question Rewriting)：將復雜問題分解為更具體、更易檢索的子問題，提高搜索效率。
3. 時間線生成 (Timeline Generation)：合并每一輪檢索生成的時間線，總結重要。

為了優化提問過程，CHRONOS引入了“時序信息量”（CI）的概念，衡量模型提出的問題檢索與參考時間線對齊的能力，從而選擇更有價值的問題進行迭代。

3. 全新數據集Open-TLS

研究團隊構建了一個名為Open-TLS的新數據集，包含由專業記者撰寫的關于近期新聞的時間線，涵蓋、經濟、社會、體育和科學技術等多個領域，為開放域TLS任務提供更全面的基準。

4. 實驗結果與分析

實驗基于GPT-3.5-Turbo、GPT-4和Qwen2.5-72B進行，結果顯示CHRONOS在開放域和封閉域TLS任務中均優于基線方法，在一些指標上達到SOTA效果。尤其在開放域，CHRONOS顯著提高了總結質量和日期對齊準確性。在效率方面，CHRONOS也優于需要處理所有文章的基線方法。

5. 案例研究：蘋果產品發布時間線

通過蘋果產品發布時間線的案例研究，展示了CHRONOS準確提取關鍵和日期的能力，并指出了一些需要改進的地方，例如對某些的遺漏或日期幻覺。

6. 結論

CHRONOS框架通過結合大型語言模型的迭代自我提問和檢索增強生成技術，為時間線總結任務提供了一種新穎有效的解決方案。其模擬人類信息檢索過程，通過不斷提問和回答來深入理解，最終生成全面且連貫的時間線摘要。 未來研究方向包括探索該迭代提問的檢索生成方法在通用任務上的泛化能力。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破