llama2 模型精調總結

AIGC動態歡迎閱讀

原標題：llama2 模型精調總結
關鍵字：模型,報告,知乎,侵權,騰訊
文章來源：算法邦
內容字數：5100字

內容摘要：

智猩猩與智東西將于4月18-19日在北京共同舉辦2024中國生成式AI大會，阿里云通義實驗室通義千問負責人周暢，潞晨科技創始人尤洋，生數科技CEO唐家渝，優必選研究院執行院長焦繼超，科大訊飛人形機器人首席科學家季超，DeepWisdom合伙人徐宗澤，騰訊研究科學家張馳，前Meta首席工程負責人胡魯輝等首批嘉賓已確認帶來演講和報告，歡迎報名。導讀原文來自知乎，作者為王二叔，本文是作者在llama2-13B-chat模型、llama2-70B-chat模型上做精調的一些隨筆總結經驗。
原文鏈接：https://zhuanlan.zhihu.com/p/680873898
本文只做學術/技術分享，如有侵權，聯系刪文。01前言距離llama2模型發布也有半年多的時間了，看到的一些訓練總結不是很多，題主大概模型剛出來就在13B和70B的模型上做精調，隨筆總結一些經驗吧，大家僅供參考，也歡迎隨時討論。
02全量精調和loralora在題主看來只是顯存不夠的一種妥協方案，因為增量訓練注定不會改變模型本身的底層權重，所以對模型的權重偏移影響比較少，在某些場景可能比較好用，但在很多場景全量精調肯定是更好

原文鏈接：llama2 模型精調總結

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，連接AI新青年，講解研究成果，分享系統思考。