萬字詳解提示學習（Prompt Learning ）和微調 （Prompt Tuning）

AIGC動態歡迎閱讀

原標題：萬字詳解提示學習（Prompt Learning ）和微調 （Prompt Tuning）
關鍵字：任務,提示,模型,解讀,顯著特征
文章來源：算法邦
內容字數：16063字

內容摘要：

本文轉載自公眾號：青稞AI，原作者：愛吃牛油果的璐璐，如需轉載請與原作者聯系。1、前言
Self-Attention 和 Transformer 自從問世就成為了自然語言處理領域的新星。得益于全局的注意力機制和并行化的訓練，基于 Transformer 的自然語言模型能夠方便的編碼長距離依賴關系，同時在大規模自然語言數據集上并行訓練成為可能。但由于自然語言任務種類繁多，且任務之間的差別不太大，所以為每個任務單獨微調一份大模型很不劃算。
在 CV 中，不同的圖像識別任務往往也需要微調整個大模型，也顯得不夠經濟。Prompt Learning 的提出給這個問題提供了一個很好的方向。
本文主要根據綜述文章《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》[1] 以及相關論文整理而來，在此基礎之上，總結了一些現有的對 prompt learning 的相關討論（如其缺陷，與其他學習方法的比較等）。望承前人之高屋建瓴，增添后之磚瓦。希望大

原文鏈接：萬字詳解提示學習（Prompt Learning ）和微調 （Prompt Tuning）

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。