ACL 2024 | 提升大模型持續(xù)學習性能，哈工大、度小滿提出共享注意力框架SAPT

AIGC動態(tài)歡迎閱讀

原標題：ACL 2024 | 提升大模型持續(xù)學習性能，哈工大、度小滿提出共享注意力框架SAPT
關鍵字：注意力,任務,模塊,模型,災難性
文章來源：機器之心
內容字數(shù)：0字

內容摘要：

AIxiv專欄是機器之心發(fā)布學術、技術內容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本論文作者趙偉翔是哈爾濱工業(yè)大學社會計算與信息檢索研究中心 2021 級直博生，導師為趙妍妍教授和秦兵教授，主要研究方向為對話系統(tǒng)、大語言模型對齊等。他曾以第一作者在 ACL、AAAI、IJCAI、COLING 等會議上發(fā)表論文。
個人主頁: https://circle-hit.github.io/
在大模型實際部署落地的過程中，如何賦予大模型持續(xù)學習的能力是一個至關重要的挑戰(zhàn)。這使其能夠動態(tài)適應新的任務并不斷獲得新的知識。大模型的持續(xù)學習主要面臨兩個重大挑戰(zhàn)，分別是災難性遺忘和知識遷移。災難性遺忘是指模型在學習新任務時，會忘記其已掌握的舊任務。知識遷移則涉及到如何在學習新任務時有效地應用舊任務的知識來提升新任務學習的效果。
為了有效應對以上難題，哈工大聯(lián)合

原文鏈接：ACL 2024 | 提升大模型持續(xù)學習性能，哈工大、度小滿提出共享注意力框架SAPT