用大模型吃瓜更智能了！阿里通義實(shí)驗(yàn)室提出新時(shí)間線總結(jié)框架，全面提升新聞總結(jié)效率

開放域和封閉域TLS都更高效了

原標(biāo)題：用大模型吃瓜更智能了！阿里通義實(shí)驗(yàn)室提出新時(shí)間線總結(jié)框架，全面提升新聞總結(jié)效率
文章來源：量子位
內(nèi)容字?jǐn)?shù)：8181字

阿里巴巴和上海交大提出CHRONOS框架：AI幫你梳理新聞時(shí)間線

阿里巴巴通義實(shí)驗(yàn)室與上海交通大學(xué)的研究人員提出了一種基于Agent的新聞時(shí)間線摘要新框架——CHRONOS，旨在幫助用戶更方便地梳理復(fù)雜新聞的時(shí)間線。該框架模擬人類信息檢索過程，通過迭代多輪自我提問，結(jié)合檢索增強(qiáng)生成技術(shù)，從互聯(lián)網(wǎng)上檢索相關(guān)信息，生成時(shí)間順序的新聞?wù)?/p>

1. 開放域時(shí)間線總結(jié)的挑戰(zhàn)

時(shí)間線總結(jié)（TLS）任務(wù)旨在從大量文本中提取關(guān)鍵并按時(shí)間順序排列。開放域TLS（從互聯(lián)網(wǎng)檢索信息）比封閉域TLS（從預(yù)定義文章中提取）更具挑戰(zhàn)性，因?yàn)樗枰獜?qiáng)大的信息檢索和篩選能力，以及在沒有全局視圖的情況下識(shí)別和建立之間聯(lián)系的能力。

2. CHRONOS框架：迭代檢索，精準(zhǔn)總結(jié)

CHRONOS框架通過迭代提問進(jìn)行相關(guān)檢索，生成準(zhǔn)確、全面的時(shí)間線摘要，有效解決了開放域和封閉域TLS任務(wù)。其核心模塊包括：

1. 自我提問 (Self-Questioning)：初始階段使用目標(biāo)新聞標(biāo)題進(jìn)行搜索，收集初步信息，然后迭代提問，檢索更多相關(guān)新聞。
2. 問題改寫 (Question Rewriting)：將復(fù)雜問題分解為更具體、更易檢索的子問題，提高搜索效率。
3. 時(shí)間線生成 (Timeline Generation)：合并每一輪檢索生成的時(shí)間線，總結(jié)重要。

為了優(yōu)化提問過程，CHRONOS引入了“時(shí)序信息量”（CI）的概念，衡量模型提出的問題檢索與參考時(shí)間線對(duì)齊的能力，從而選擇更有價(jià)值的問題進(jìn)行迭代。

3. 全新數(shù)據(jù)集Open-TLS

研究團(tuán)隊(duì)構(gòu)建了一個(gè)名為Open-TLS的新數(shù)據(jù)集，包含由專業(yè)記者撰寫的關(guān)于近期新聞的時(shí)間線，涵蓋、經(jīng)濟(jì)、社會(huì)、體育和科學(xué)技術(shù)等多個(gè)領(lǐng)域，為開放域TLS任務(wù)提供更全面的基準(zhǔn)。

4. 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)基于GPT-3.5-Turbo、GPT-4和Qwen2.5-72B進(jìn)行，結(jié)果顯示CHRONOS在開放域和封閉域TLS任務(wù)中均優(yōu)于基線方法，在一些指標(biāo)上達(dá)到SOTA效果。尤其在開放域，CHRONOS顯著提高了總結(jié)質(zhì)量和日期對(duì)齊準(zhǔn)確性。在效率方面，CHRONOS也優(yōu)于需要處理所有文章的基線方法。

5. 案例研究：蘋果產(chǎn)品發(fā)布時(shí)間線

通過蘋果產(chǎn)品發(fā)布時(shí)間線的案例研究，展示了CHRONOS準(zhǔn)確提取關(guān)鍵和日期的能力，并指出了一些需要改進(jìn)的地方，例如對(duì)某些的遺漏或日期幻覺。

6. 結(jié)論

CHRONOS框架通過結(jié)合大型語言模型的迭代自我提問和檢索增強(qiáng)生成技術(shù)，為時(shí)間線總結(jié)任務(wù)提供了一種新穎有效的解決方案。其模擬人類信息檢索過程，通過不斷提問和回答來深入理解，最終生成全面且連貫的時(shí)間線摘要。 未來研究方向包括探索該迭代提問的檢索生成方法在通用任務(wù)上的泛化能力。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破