彌補(bǔ)中文短板，社區(qū)Llama3漢化微調(diào)版效果如何？

AIGC動態(tài)歡迎閱讀

原標(biāo)題：彌補(bǔ)中文短板，社區(qū)Llama3漢化微調(diào)版效果如何？
關(guān)鍵字：模型,中文,語料,能力,版本
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：2686字

內(nèi)容摘要：

Llama3自上個(gè)月發(fā)布以來，被稱為社區(qū)最強(qiáng)開源模型。由于中文能力欠缺，為了彌補(bǔ)這一短板，開源社區(qū)已經(jīng)出現(xiàn)了多個(gè)基于Llama3進(jìn)行中文優(yōu)化的微調(diào)模型。
這些微調(diào)模型大多采用了以下 2 條路線：
1、中文語料+SFT
2、中文語料+增訓(xùn)+SFT
和通過中文基準(zhǔn)來評估模型的性能不同，我們想和大家一起來實(shí)測模型在不同場景下的實(shí)際表現(xiàn)，來看Llama3漢化后模型的能力，以提高模型被應(yīng)用的效率。
我們要怎么測模型？我們將會在5月20~5月24日開放以下模型項(xiàng)目供大家實(shí)際測試（開放地址：https://sota.jiqizhixin.com/xt-terminal）。項(xiàng)目名稱微調(diào)技術(shù)方法項(xiàng)目地址
Chinese-LLaMA-Alpaca-3
v1版本（PT+SFT，基于非Instruct版訓(xùn)練）：在原版Llama-3-8B的基礎(chǔ)上使用約120GB大規(guī)模語料進(jìn)行增量中文訓(xùn)練，并且利用高質(zhì)量指令數(shù)據(jù)進(jìn)行精調(diào)。
v2版本（SFT，基于Instruct版訓(xùn)練）：直接采用500萬條指令數(shù)據(jù)在Meta-Llama-3-8B-Instruct上進(jìn)行精調(diào)。
https://sota.jiqizhixin.com

原文鏈接：彌補(bǔ)中文短板，社區(qū)Llama3漢化微調(diào)版效果如何？

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺