AIGC動態歡迎閱讀
原標題:彌補中文短板,社區Llama3漢化微調版效果如何?
關鍵字:模型,中文,語料,能力,版本
文章來源:機器之心
內容字數:2686字
內容摘要:
Llama3自上個月發布以來,被稱為社區最強開源模型。由于中文能力欠缺,為了彌補這一短板,開源社區已經出現了多個基于Llama3進行中文優化的微調模型。
這些微調模型大多采用了以下 2 條路線:
1、中文語料+SFT
2、中文語料+增訓+SFT
和通過中文基準來評估模型的性能不同,我們想和大家一起來實測模型在不同場景下的實際表現,來看Llama3漢化后模型的能力,以提高模型被應用的效率。
我們要怎么測模型?我們將會在5月20~5月24日開放以下模型項目供大家實際測試(開放地址:https://sota.jiqizhixin.com/xt-terminal)。項目名稱微調技術方法項目地址
Chinese-LLaMA-Alpaca-3
v1版本(PT+SFT,基于非Instruct版訓練):在原版Llama-3-8B的基礎上使用約120GB大規模語料進行增量中文訓練,并且利用高質量指令數據進行精調。
v2版本(SFT,基于Instruct版訓練):直接采用500萬條指令數據在Meta-Llama-3-8B-Instruct上進行精調。
https://sota.jiqizhixin.com
原文鏈接:彌補中文短板,社區Llama3漢化微調版效果如何?
聯系作者
文章來源:機器之心
作者微信:almosthuman2014
作者簡介:專業的人工智能媒體和產業服務平臺
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...