AIGC動態(tài)歡迎閱讀

原標(biāo)題：上下文學(xué)習(xí)=對比學(xué)習(xí)？人大揭示ICL推理背后的隱式更新機(jī)理：梯度更新了嗎？「如更」

關(guān)鍵字：注意力,模型,梯度,對比,機(jī)制

文章來源：新智元

內(nèi)容字?jǐn)?shù)：4673字

內(nèi)容摘要：新智元報道編輯：LRS【新智元導(dǎo)讀】人民大學(xué)最新研究，首次從「對比學(xué)習(xí)」的角度來理解上下文學(xué)習(xí)，或可提供自注意力機(jī)制的改進(jìn)思路。近些年來，基于Transformer的大語言模型表現(xiàn)出了驚人的In-context Learning (ICL)能力，我們只需要在查詢問題前以 {問題，標(biāo)簽} 的形式增加少數(shù)示例，模型就可以學(xué)到該任務(wù)并輸出較好的結(jié)果。然而，ICL背后的機(jī)理仍是一個開放的問題：在ICL的推…

原文鏈接：點此閱讀原文：上下文學(xué)習(xí)=對比學(xué)習(xí)？人大揭示ICL推理背后的隱式更新機(jī)理：梯度更新了嗎？「如更」

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。