AIGC動態(tài)歡迎閱讀

原標(biāo)題：中國團(tuán)隊再獲EMNLP最佳長論文！北大微信AI聯(lián)合揭秘大模型上下文學(xué)習(xí)機(jī)制

關(guān)鍵字：模型,標(biāo)簽,論文,信息,上下文

文章來源：量子位

內(nèi)容字?jǐn)?shù)：3701字

內(nèi)容摘要：白交 發(fā)自 凹非寺量子位 | 公眾號 QbitAIEMNLP頂會落下帷幕，各種獎項悉數(shù)頒出。最佳長論文獎被北大微信AI團(tuán)隊收入囊中，由北大孫栩老師和微信周杰、孟凡東合作指導(dǎo)。他們發(fā)現(xiàn)了大模型中關(guān)鍵能力——上下文學(xué)習(xí)背后的工作機(jī)制。通過理解這一機(jī)制，還提出一系列方法來提高其性能。除此之外，斯坦福Christopher Manning教授做了最后的主題演講，告訴那些正在為大模型而感到焦慮的NLP博士生們，還有很多有意義的方向可以做。EMNLP最佳長論文上下文學(xué)習(xí)(in-context learning, ICL)是大語言模型的一個重要能力，通過提供少量示范示例，讓模型學(xué)會執(zhí)行各種下游任務(wù)，而無需更新參數(shù)。目前ICL內(nèi)在工作機(jī)制仍尚無定論，但缺乏對ICL過程的理解會限制能力進(jìn)一步提升。基于這一背景，北大 微信AI團(tuán)隊首次從信息流這一角度來探索。此前相關(guān)分析研究主要從輸入作用和梯度角度進(jìn)行分析。首…

原文鏈接：點此閱讀原文：中國團(tuán)隊再獲EMNLP最佳長論文！北大微信AI聯(lián)合揭秘大模型上下文學(xué)習(xí)機(jī)制

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破