萬字詳解提示學(xué)習(xí)（Prompt Learning ）和微調(diào) （Prompt Tuning）

AIGC動態(tài)歡迎閱讀

原標(biāo)題：萬字詳解提示學(xué)習(xí)（Prompt Learning ）和微調(diào) （Prompt Tuning）
關(guān)鍵字：任務(wù),提示,模型,解讀,顯著特征
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：16063字

內(nèi)容摘要：

本文轉(zhuǎn)載自公眾號：青稞AI，原作者：愛吃牛油果的璐璐，如需轉(zhuǎn)載請與原作者聯(lián)系。1、前言
Self-Attention 和 Transformer 自從問世就成為了自然語言處理領(lǐng)域的新星。得益于全局的注意力機(jī)制和并行化的訓(xùn)練，基于 Transformer 的自然語言模型能夠方便的編碼長距離依賴關(guān)系，同時在大規(guī)模自然語言數(shù)據(jù)集上并行訓(xùn)練成為可能。但由于自然語言任務(wù)種類繁多，且任務(wù)之間的差別不太大，所以為每個任務(wù)單獨(dú)微調(diào)一份大模型很不劃算。
在 CV 中，不同的圖像識別任務(wù)往往也需要微調(diào)整個大模型，也顯得不夠經(jīng)濟(jì)。Prompt Learning 的提出給這個問題提供了一個很好的方向。
本文主要根據(jù)綜述文章《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》[1] 以及相關(guān)論文整理而來，在此基礎(chǔ)之上，總結(jié)了一些現(xiàn)有的對 prompt learning 的相關(guān)討論（如其缺陷，與其他學(xué)習(xí)方法的比較等）。望承前人之高屋建瓴，增添后之磚瓦。希望大

原文鏈接：萬字詳解提示學(xué)習(xí)（Prompt Learning ）和微調(diào) （Prompt Tuning）

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計(jì)算機(jī)視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會。