中國團隊再獲EMNLP最佳長論文！北大微信AI聯合揭秘大模型上下文學習機制

AIGC動態歡迎閱讀

原標題：中國團隊再獲EMNLP最佳長論文！北大微信AI聯合揭秘大模型上下文學習機制

關鍵字：模型,標簽,論文,信息,上下文

文章來源：量子位

內容字數：3701字

內容摘要：白交 發自 凹非寺量子位 | 公眾號 QbitAIEMNLP頂會落下帷幕，各種獎項悉數頒出。最佳長論文獎被北大微信AI團隊收入囊中，由北大孫栩老師和微信周杰、孟凡東合作指導。他們發現了大模型中關鍵能力——上下文學習背后的工作機制。通過理解這一機制，還提出一系列方法來提高其性能。除此之外，斯坦福Christopher Manning教授做了最后的主題演講，告訴那些正在為大模型而感到焦慮的NLP博士生們，還有很多有意義的方向可以做。EMNLP最佳長論文上下文學習(in-context learning, ICL)是大語言模型的一個重要能力，通過提供少量示范示例，讓模型學會執行各種下游任務，而無需更新參數。目前ICL內在工作機制仍尚無定論，但缺乏對ICL過程的理解會限制能力進一步提升。基于這一背景，北大 微信AI團隊首次從信息流這一角度來探索。此前相關分析研究主要從輸入作用和梯度角度進行分析。首…

原文鏈接：點此閱讀原文：中國團隊再獲EMNLP最佳長論文！北大微信AI聯合揭秘大模型上下文學習機制

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破