AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：中國(guó)團(tuán)隊(duì)再獲EMNLP最佳長(zhǎng)論文！北大微信AI聯(lián)合揭秘大模型上下文學(xué)習(xí)機(jī)制

關(guān)鍵字：模型,標(biāo)簽,論文,信息,上下文

文章來(lái)源：量子位

內(nèi)容字?jǐn)?shù)：3701字

內(nèi)容摘要：白交 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAIEMNLP頂會(huì)落下帷幕，各種獎(jiǎng)項(xiàng)悉數(shù)頒出。最佳長(zhǎng)論文獎(jiǎng)被北大微信AI團(tuán)隊(duì)收入囊中，由北大孫栩老師和微信周杰、孟凡東合作指導(dǎo)。他們發(fā)現(xiàn)了大模型中關(guān)鍵能力——上下文學(xué)習(xí)背后的工作機(jī)制。通過(guò)理解這一機(jī)制，還提出一系列方法來(lái)提高其性能。除此之外，斯坦福Christopher Manning教授做了最后的主題演講，告訴那些正在為大模型而感到焦慮的NLP博士生們，還有很多有意義的方向可以做。EMNLP最佳長(zhǎng)論文上下文學(xué)習(xí)(in-context learning, ICL)是大語(yǔ)言模型的一個(gè)重要能力，通過(guò)提供少量示范示例，讓模型學(xué)會(huì)執(zhí)行各種下游任務(wù)，而無(wú)需更新參數(shù)。目前ICL內(nèi)在工作機(jī)制仍尚無(wú)定論，但缺乏對(duì)ICL過(guò)程的理解會(huì)限制能力進(jìn)一步提升。基于這一背景，北大 微信AI團(tuán)隊(duì)首次從信息流這一角度來(lái)探索。此前相關(guān)分析研究主要從輸入作用和梯度角度進(jìn)行分析。首…

原文鏈接：點(diǎn)此閱讀原文：中國(guó)團(tuán)隊(duì)再獲EMNLP最佳長(zhǎng)論文！北大微信AI聯(lián)合揭秘大模型上下文學(xué)習(xí)機(jī)制

聯(lián)系作者

文章來(lái)源：量子位

作者微信：QbitAI

作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破