上下文學習=對比學習？人大揭示ICL推理背后的隱式更新機理：梯度更新了嗎？「如更」

AIGC動態歡迎閱讀

原標題：上下文學習=對比學習？人大揭示ICL推理背后的隱式更新機理：梯度更新了嗎？「如更」

關鍵字：注意力,模型,梯度,對比,機制

文章來源：新智元

內容字數：4673字

內容摘要：新智元報道編輯：LRS【新智元導讀】人民大學最新研究，首次從「對比學習」的角度來理解上下文學習，或可提供自注意力機制的改進思路。近些年來，基于Transformer的大語言模型表現出了驚人的In-context Learning (ICL)能力，我們只需要在查詢問題前以 {問題，標簽} 的形式增加少數示例，模型就可以學到該任務并輸出較好的結果。然而，ICL背后的機理仍是一個開放的問題：在ICL的推…

原文鏈接：點此閱讀原文：上下文學習=對比學習？人大揭示ICL推理背后的隱式更新機理：梯度更新了嗎？「如更」

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。