OpenAI把GPT-4原始版給了他們：研究不微調只靠提示詞能走多遠

AIGC動態歡迎閱讀

原標題：OpenAI把GPT-4原始版給了他們：研究不微調只靠提示詞能走多遠
關鍵字：模型,示例,指令,上下文,發現
文章來源：量子位
內容字數：0字

內容摘要：

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI除了OpenAI自己，居然還有別人能用上GPT-4-Base版？？
也就是未經微調的預訓練版，還不會對話，只會補全句子的模型。
EPFL（瑞士洛桑聯邦理工）團隊申請到了訪問權限，用于研究“上下文學習足以讓大模型跟隨指令嗎？”。
也就是不用監督微調、也不用RHLF或其他強化學習對齊方法，只靠提示詞能走多遠？
預訓練模型，究竟能不能一步登天，直接改造成機器人或AI助手？
如果可行，將大大降低類ChatGPT大模型的開發難度。
免微調對齊靠譜嗎？免微調對齊，讓剛出爐的預訓練模型不止會“文本補全”，只從提示詞中學會和用戶對話、跟隨指令，一直是業界關注的研究方向。
目前的SOTA方法URIAL來自艾倫研究所，使用系統提示詞+少數風格示例就能達到不錯的效果。
但EPFL團隊發現，URIAL仍無法完全彌補與指令微調模型的差距，尤其在多輪對話中的表現更差一些。
實驗中，在Llama系列、Mistral系列和一般人接觸不到的GPT-4-Base都觀察到這種現象。???
其中GPT-4-Base的API訪問權限從OpenAI Researcher

原文鏈接：OpenAI把GPT-4原始版給了他們：研究不微調只靠提示詞能走多遠

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破