大模型訓練十戒

AIGC動態歡迎閱讀

原標題：大模型訓練十戒
關鍵字：模型,注解,數據,任務,能力
文章來源：算法邦
內容字數：0字

內容摘要：

直播預告 | 5月30日晚7點，「智猩猩機器人新青年講座」第7講正式開講，邀請到論文共一、港大羅謙博士將直播講解《大模型驅動下的具身智能體腦身同步》，歡迎掃名~今天看到一個很有意思的東西，言簡意賅，字字璣珠。加了的注解，與大家分享。
新造的LLM，感謝尊者開悟～
1.切勿微調（Thou Shalt Not Fine-Tune）：盡量寫prompt，利用大模型本身的能力zeroshot，必要時輔以少量樣本（few-shot examples）或檢索增強生成（RAG）。微調成本高、速度慢且復雜，僅在確實需要時才進行。
注解：在一些接近大模型通用能力的場景上，隨著模型基礎能力的增強，微調的必要性越來越低。如果最近使用過gpt4o的接口的話，一定會被其擁有3.5的速度和4.5的效果震撼到，真的，如無必要，無需微調。
2.務必調調prompt（Thou Shalt Write a Freaking Prompt）：用一個prompt創建一個baseline，并通過寫prompt證明這個場景或者任務是可行的。如果寫prompt就可以達到基本要求，那么微調可以進一步提升；如果prompt不

原文鏈接：大模型訓練十戒

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。