冬令營(yíng)優(yōu)秀學(xué)習(xí)筆記（二）

原標(biāo)題：大模型微調(diào)（Fine-Tuning）全流程思考
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：6294字

訊飛MaaS平臺(tái)大模型微調(diào)及應(yīng)用指南

本文總結(jié)了基于訊飛MaaS平臺(tái)進(jìn)行大模型微調(diào)及應(yīng)用開(kāi)發(fā)的七個(gè)關(guān)鍵步驟，旨在幫助開(kāi)發(fā)者快速理解并應(yīng)用相關(guān)技術(shù)。

1. 大模型微調(diào)流程

   強(qiáng)調(diào)微調(diào)過(guò)程的嚴(yán)謹(jǐn)性，建議嚴(yán)格按照步驟進(jìn)行，避免因跳步導(dǎo)致的低效甚至無(wú)效工作。特別指出數(shù)據(jù)集構(gòu)建的重要性，其質(zhì)量直接影響微調(diào)效果。

2. 方案構(gòu)思與落地

   在正式開(kāi)始前，需要明確目標(biāo)、預(yù)期效果、模型類型（大模型或封裝產(chǎn)品）、創(chuàng)新點(diǎn)（專業(yè)領(lǐng)域深耕、已有模型銜接或兩者結(jié)合）。 文章介紹了Agent（基于LLM的智能實(shí)體）和Workflow（完成任務(wù)的步驟和過(guò)程）的概念，并說(shuō)明在訊飛MaaS平臺(tái)上如何實(shí)現(xiàn)。

3. 數(shù)據(jù)集的獲取與構(gòu)建

   介紹了兩種數(shù)據(jù)集獲取方式：公開(kāi)數(shù)據(jù)集（如GitHub、Hugging Face、魔搭等平臺(tái)）和自行構(gòu)建數(shù)據(jù)集。對(duì)于難以獲得的數(shù)據(jù)，建議先少量人工創(chuàng)建（例如50條），再利用訊飛MaaS平臺(tái)的數(shù)據(jù)增強(qiáng)功能擴(kuò)充數(shù)據(jù)，或利用大模型輔助生成數(shù)據(jù)，并強(qiáng)調(diào)需要精細(xì)檢查大模型生成的數(shù)據(jù)，并迭代改進(jìn)prompt。

   文章詳細(xì)介紹了數(shù)據(jù)的清洗過(guò)程，以及使用AIpaca格式構(gòu)建微調(diào)數(shù)據(jù)集，并闡述了AIpaca的結(jié)構(gòu)（instruction、input、output、system、history）及其意義。

4. 模型基底的比較

   選擇合適的模型基底至關(guān)重要。文章以訊飛MaaS平臺(tái)上的Llama3模型為例，說(shuō)明如何處理其英文語(yǔ)料為主的問(wèn)題，例如通過(guò)輸入中文數(shù)據(jù)集進(jìn)行全參數(shù)微調(diào)和LoRA訓(xùn)練，或在system部分加入“請(qǐng)輸出中文”的提示。

5. 模型訓(xùn)練

   介紹了模型訓(xùn)練過(guò)程中的參數(shù)選擇，特別強(qiáng)調(diào)“訓(xùn)練次數(shù)”的重要性，指出數(shù)據(jù)集規(guī)模與訓(xùn)練次數(shù)的匹配關(guān)系，以及過(guò)擬合問(wèn)題的預(yù)防。

6. 效果的評(píng)估

   強(qiáng)調(diào)客觀和主觀標(biāo)準(zhǔn)相結(jié)合的評(píng)估方法，包括loss曲線分析（解釋了欠擬合和過(guò)擬合的表現(xiàn)）和根據(jù)產(chǎn)品預(yù)期目標(biāo)進(jìn)行主觀評(píng)估。

7. 模型的發(fā)布

   提供模型發(fā)布后的API調(diào)用地址和相關(guān)文檔，并指出在商業(yè)應(yīng)用場(chǎng)景下需要考慮成本問(wèn)題，例如比較不同技術(shù)路徑（單模型長(zhǎng)Prompt vs. 多模型Workflow）的成本差異。

總而言之，本文提供了一個(gè)完整的大模型微調(diào)和應(yīng)用開(kāi)發(fā)流程指南，涵蓋了從方案構(gòu)思到模型發(fā)布的各個(gè)環(huán)節(jié)，并結(jié)合訊飛MaaS平臺(tái)的特點(diǎn)，提供了具體的實(shí)踐建議。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下公眾號(hào)之一，深入關(guān)注大模型與AI智能體，及時(shí)搜羅生成式AI技術(shù)產(chǎn)品。