666條數據教會AI寫萬字長文！模型數據集都開源

AIGC動態歡迎閱讀

原標題：666條數據教會AI寫萬字長文！模型數據集都開源
關鍵字：數據,模型,長度,文本,團隊
文章來源：量子位
內容字數：0字

內容摘要：

魔搭ModelScope團隊投稿量子位 | 公眾號 QbitAI僅需600多條數據，就能訓練自己的長輸出模型了？！
事情是醬嬸兒的——
雖然大模型的上下文(Context)支持越來越長，但包括GPT-4o，Llama-3.1-70B，Claude 3.5 Sonnet在內的這些業界領先模型，在用戶指定所需輸出長度的情況下，其最大輸出長度仍無法滿足要求。
例如，針對“寫一篇關于羅馬帝國歷史的10000字文章”的要求，所有這些通用模型在輸出長度上均無法超過2000字。
對此，基于GLM4-9B，智譜通過構建長輸出的訓練數據得到了LongWriter-GLM4-9B模型，能夠應對超長輸出（10000+ words）場景。
與此同時，智譜開源了訓練該模型所需的長輸出文本數據集LongWriter-6K。
現在，魔搭社區上基于LongWriter-6K過濾精選了666條數據（LongWriter-6K-Filtered），也一并開源了。
有啥用？？
一句話，使用該數據集，你就能在自己的模型中集成長輸出能力了。
LongWriter數據生成與模型訓練通過分析訓練SFT數據，團隊發現對于“模型無法

原文鏈接：666條數據教會AI寫萬字長文！模型數據集都開源