全是細節(jié)!大模型SFT的100個關鍵點

AIGC動態(tài)歡迎閱讀
原標題:全是細節(jié)!大模型SFT的100個關鍵點
關鍵字:模型,數(shù)據(jù),報告,能力,語料
文章來源:智猩猩GenAI
內(nèi)容字數(shù):0字
內(nèi)容摘要:
GTIC 2024中國AI PC創(chuàng)新峰會將于10月11日,在2024上海國際消費電子展TechG同期舉辦。聯(lián)想集團首席研究員顏毅強、榮耀終端有限公司PC產(chǎn)品研發(fā)系統(tǒng)部部長席迎軍等7位嘉賓,將分別圍繞面向大模型的個人計算體系和交互、AI 重構PC、RISC-V AI芯片、AIGC在端側產(chǎn)品的發(fā)展、操作系統(tǒng)與AI技術結合探索、聯(lián)合模型和硬件的優(yōu)化適配平臺MLGuider、智能體個人助理等議題進行演講,歡迎報名~導讀原文來自知乎,作者為ybq,標題為《LLM訓練-sft》。作者詳細介紹了大模型的 sft 相關內(nèi)容,包括背景知識、與 pretrain 的區(qū)別、幻覺問題、數(shù)據(jù)篇(數(shù)據(jù)多樣性、生產(chǎn)、去重等)、訓練篇(框架、煉丹技巧、擬合問題等)、評估篇等。原文地址:https://zhuanlan.zhihu.com/p/809229182
本文只做學術/技術分享,如有侵權,聯(lián)系刪文。這篇文章介紹一下大模型的 sft 如何去做。相比較于上一篇文章介紹的 pretrain,sft 實在沒有太多的技術細節(jié)和瑣碎工作需要科普。因此,我會默認讀者們都知道 sft 是做什么的以及如何去做一些簡單的 sft 
聯(lián)系作者
文章來源:智猩猩GenAI
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經(jīng)允許請勿轉載。
相關文章
暫無評論...
 
  
  
  
 
 粵公網(wǎng)安備 44011502001135號
 粵公網(wǎng)安備 44011502001135號