大模型提示學習樣本量有玄機，自適應調節方法好

AIGC動態歡迎閱讀

原標題：大模型提示學習樣本量有玄機，自適應調節方法好
關鍵字：示例,實例,數量,數據,鄰域
文章來源：夕小瑤科技說
內容字數：8226字

內容摘要：

夕小瑤科技說 原創作者 | 芒果
引言：探索文本分類中的個性化示例數量在自然語言處理（NLP）領域，預測模型已經從零開始訓練演變為使用標記數據對預訓練模型進行微調。這種微調的極端形式涉及到上下文學習（In-Context Learning, ICL），其中預訓練生成模型的輸出（凍結的解碼器參數）僅通過輸入字符串（稱為指令或提示）的變化來控制。ICL的一個重要組成部分是在提示中使用少量標記數據實例作為示例。盡管現有工作在推理過程中對每個數據實例使用固定數量的示例，但本研究提出了一種根據數據動態調整示例數量的新方法。這類似于在k-最近鄰（k-NN）分類器中使用可變大小的鄰域。該研究提出的自適應ICL（Adaptive ICL, AICL）工作流程中，在特定數據實例上的推理過程中，通過分類器的Softmax后驗概率來預測使用多少示例。這個分類器的參數是基于ICL中正確推斷每個實例標簽所需的最佳示例數量來擬合的，假設與訓練實例相似的測試實例應該使用相同（或接近匹配）的少量示例數量。實驗表明，AICL方法在多個標準數據集上的文本分類任務中取得了改進。
論文標題：‘One size doesn’t

原文鏈接：大模型提示學習樣本量有玄機，自適應調節方法好

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI一線開發者、互聯網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備行業嗅覺與報道深度。