小模型增強可超GPT-4？北航 && 人大 | 提出大模型ICL增強范式，模型越小收益越高！

AIGC動態歡迎閱讀

原標題：小模型增強可超GPT-4？北航 && 人大 | 提出大模型ICL增強范式，模型越小收益越高！
關鍵字：模型,樣本,方法,示例,問題
文章來源：算法邦
內容字數：5500字

內容摘要：

引言：上下文學習（In-context Learning，ICL）技術是提高模型在自然語言處理任務上表現的高效提示技術，因而眾多研究在這個方向上提出各種方法，但大多數都專注于示例樣本的選擇，排序，質量等，在樣例層面提高模型表現很難再有新的突破。另外，「現有的ICL技術在弱模型上的表現存在scaling law（縮放法則）的限制」，即弱模型很難超過強模型的表現，然而弱模型由于參數規模小易于部署易于微調，因此「如何提高小參數規模模型的性能是一個值得探索地問題」。論文地址：
https://arxiv.org/abs/2401.03385
基于上述問題，本文研究「提出了一種全新的ICL，名為SLEICL（Strong LLM Enhanced ICL，大模型增強上下文學習）的方法」，它通過利用強語言模型從示例樣本中學習，并提煉出解決特定任務的技巧，從而增強弱語言模型在這些任務中的能力。其中，「強模型合成的技巧被稱為Grimoire（魔法書）」。
01SLEICL方法介紹作者從兩個方面總結了前人的相關研究：
一方面，關于為什么ICL有效果的理論研究，作者以及部分前人的工作表明，ICL有效果并不

原文鏈接：小模型增強可超GPT-4？北航 && 人大 | 提出大模型ICL增強范式，模型越小收益越高！

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。