Google開放域問答系統新突破！多粒度評估提升近20個點

AIGC動態歡迎閱讀

原標題：Google開放域問答系統新突破！多粒度評估提升近20個點
關鍵字：粒度,解讀,答案,模型,知識
文章來源：夕小瑤科技說
內容字數：9749字

內容摘要：

夕小瑤科技說 原創作者 | 賽博馬良本文內容由賽博馬良「AI論文解讀達人」智能體生成，人工整理排版。
「AI論文解讀達人」 可提供最熱AI論文推薦、論文解讀等功能。
傳送門：
https://www.saibomaliang.com/generate?agent_id=68248fd1-32f9-4869-a35d-b6086ac0ebcf
引言：多粒度問題回答的挑戰與機遇在開放領域的問答（QA）任務中，事實問題通常可以在不同的粒度級別上得到正確的回答。例如，對于問題“何時出生？”，“1961年8月4日”和“1961年”都是正確的答案。然而，標準的問答評估協議并沒有明確考慮這一點，而是將預測答案與單一粒度級別的參進行比較。在本工作中，我們提出了GRANOLA QA（GRANularity Of LAbels的縮寫），這是一種新穎的評估設置，其中預測答案將根據準確性和信息量與多粒度答案集進行評估。
我們展示了一種簡單的方法，用于豐富現有數據集中的多粒度答案，并創建了GRANOLA-EQ，這是ENTITYQUESTIONS數據集的多粒度版本。我們的實驗表明，大型語言模型（LLM

原文鏈接：Google開放域問答系統新突破！多粒度評估提升近20個點

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI應用開發者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯網大廠，兼備媒體sense與技術深度。