LongWriter

LongWriter 是清華大學(xué)與智譜AI合作開發(fā)的一款長(zhǎng)文本生成模型，具備產(chǎn)生超過10,000字的連貫文本的能力，并且該項(xiàng)目已實(shí)現(xiàn)開源。通過深入分析現(xiàn)有大型語言模型的輸出限制，LongWriter 創(chuàng)建了“LongWriter-6k”數(shù)據(jù)集，成功拓展了AI模型的生成能力。此外，LongWriter 采用了直接偏好優(yōu)化（DPO）技術(shù)，以提升生成文本的質(zhì)量并更好地遵循給定的長(zhǎng)度限制。

LongWriter是什么

LongWriter 是一款由清華大學(xué)與智譜AI聯(lián)合推出的長(zhǎng)文本生成模型，能夠生成超過10,000字的連貫文本，目前該項(xiàng)目已開源。為了分析現(xiàn)有大型語言模型在輸出長(zhǎng)度上的局限性，LongWriter 團(tuán)隊(duì)構(gòu)建了“LongWriter-6k”數(shù)據(jù)集，從而有效提升了AI模型的輸出能力。該模型還采用了直接偏好優(yōu)化（DPO）技術(shù)，旨在提升輸出文本的質(zhì)量和對(duì)指令長(zhǎng)度限制的遵循能力。

LongWriter的主要功能

• 超長(zhǎng)文本生成：LongWriter 能夠生成超過10,000字的連貫文本，突破了以往AI模型在文本長(zhǎng)度上的限制。
• 數(shù)據(jù)集構(gòu)建：通過創(chuàng)建“LongWriter-6k”數(shù)據(jù)集，模型獲得了包含從2,000到32,000字不等的寫作樣本，為訓(xùn)練提供了豐富的長(zhǎng)文本數(shù)據(jù)。
• AgentWrite方法：利用現(xiàn)有大型語言模型（LLMs）自動(dòng)生成超長(zhǎng)輸出的SFT數(shù)據(jù)，采用分而治之的策略，有效提升了模型的長(zhǎng)文本生成能力。
• 直接偏好優(yōu)化（DPO）：通過DPO技術(shù)，進(jìn)一步優(yōu)化模型，提升輸出的質(zhì)量并確保遵循長(zhǎng)度約束。

LongWriter的技術(shù)原理

• 長(zhǎng)上下文處理能力：LongWriter 基于長(zhǎng)上下文大型語言模型（LLMs），具備處理超過100,000個(gè)token歷史記錄的能力。
• 輸出長(zhǎng)度限制分析：通過對(duì)現(xiàn)有模型在不同查詢下的最大輸出長(zhǎng)度進(jìn)行分析，LongWriter 識(shí)別到輸出長(zhǎng)度限制主要來源于監(jiān)督式微調(diào)（SFT）數(shù)據(jù)集的特性。
• 監(jiān)督式微調(diào)（SFT）：在SFT階段，LongWriter 使用“LongWriter-6k”數(shù)據(jù)集進(jìn)行訓(xùn)練，使模型學(xué)習(xí)生成更長(zhǎng)文本的能力。

LongWriter的項(xiàng)目地址

• GitHub倉(cāng)庫：https://github.com/THUDM/LongWriter
• HuggingFace模型庫：https://huggingface.co/THUDM/LongWriter-glm4-9b
• arXiv技術(shù)論文：https://arxiv.org/pdf/2408.07055

如何使用LongWriter

• 環(huán)境配置：確保擁有足夠的計(jì)算資源以運(yùn)行LongWriter模型，包括高性能GPU和充足的內(nèi)存。
• 獲取模型：訪問GitHub以獲取LongWriter的開源代碼和模型。
• 安裝依賴：根據(jù)項(xiàng)目文檔安裝所需的依賴庫和工具，涵蓋深度學(xué)習(xí)框架和數(shù)據(jù)處理庫。
• 數(shù)據(jù)準(zhǔn)備：準(zhǔn)備適合LongWriter處理的長(zhǎng)文本數(shù)據(jù)，并進(jìn)行預(yù)處理，確保符合模型的輸入要求。
• 模型加載：加載預(yù)訓(xùn)練的LongWriter模型，或根據(jù)自身數(shù)據(jù)進(jìn)行進(jìn)一步微調(diào)。
• 編寫提示：編寫清晰的提示或指令，以指導(dǎo)模型生成特定內(nèi)容的文本。
• 生成文本：使用模型提供的接口或API，輸入提示并啟動(dòng)文本生成過程。

LongWriter的應(yīng)用場(chǎng)景

• 學(xué)術(shù)研究：LongWriter 可協(xié)助學(xué)者和研究人員撰寫長(zhǎng)篇學(xué)術(shù)論文、研究報(bào)告或文獻(xiàn)綜述。
• 內(nèi)容創(chuàng)作：作家和內(nèi)容創(chuàng)作者可利用LongWriter生成小說、劇本或其他創(chuàng)意寫作的初稿。
• 出版行業(yè)：出版社可借助LongWriter輔助編輯、校對(duì)工作，或自動(dòng)生成書籍內(nèi)容。
• 教育領(lǐng)域：教育工作者可使用LongWriter生成教學(xué)材料、課程內(nèi)容或?qū)W習(xí)指南。
• 新聞媒體：新聞機(jī)構(gòu)可利用LongWriter快速生成新聞報(bào)道、深度分析文章或?qū)ｎ}報(bào)道。