AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：今日arXiv最熱NLP大模型論文：清華提出LongAlign，打破長(zhǎng)上下文對(duì)齊瓶頸，數(shù)據(jù)、訓(xùn)練策略、評(píng)估基準(zhǔn)一網(wǎng)打盡
關(guān)鍵字：解讀,模型,數(shù)據(jù),指令,長(zhǎng)上
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：9891字

內(nèi)容摘要：

夕小瑤科技說(shuō) 原創(chuàng)編輯 | 謝年年隨著LLMs的發(fā)展，其支持的上下文長(zhǎng)度越來(lái)越長(zhǎng)。僅一年時(shí)間，GPT-4就從一開(kāi)始的4K、8K拓展到了128k。
128k什么概念？相當(dāng)于一本300頁(yè)厚的書(shū)。這是當(dāng)初只支持512個(gè)tokens的BERT時(shí)代不敢想象的事情。
隨著上下文窗口長(zhǎng)度的增加，可以提供更豐富的語(yǔ)義信息，從而減少LLM的出錯(cuò)率和“幻覺(jué)”發(fā)生的可能性，提升用戶(hù)體驗(yàn)。
但現(xiàn)有的構(gòu)建長(zhǎng)上下文LLMs的工作主要集中在上下文擴(kuò)展方面，即位置編碼擴(kuò)展和長(zhǎng)文本的持續(xù)訓(xùn)練。
而清華團(tuán)隊(duì)轉(zhuǎn)而關(guān)注長(zhǎng)上下文對(duì)齊的角度，即指令微調(diào)LLMs處理長(zhǎng)文本提示，提供了一種全面的方法——LongAlign。
瞄準(zhǔn)上下文對(duì)齊中缺乏長(zhǎng)指令跟隨數(shù)據(jù)集、訓(xùn)練效率低下以及缺乏強(qiáng)大的評(píng)估基準(zhǔn)等挑戰(zhàn)，作者構(gòu)建了多樣化的長(zhǎng)指令數(shù)據(jù)集、采用了高效的訓(xùn)練策略，以及開(kāi)發(fā)針對(duì)長(zhǎng)上下文指令跟隨能力的評(píng)估基準(zhǔn)LongAlign-chat。
實(shí)驗(yàn)結(jié)果顯示，LongAlign在長(zhǎng)上下文任務(wù)中的表現(xiàn)顯著優(yōu)于現(xiàn)有方法，提升幅度高達(dá)30%。不僅如此，LongAlign還保持了模型在處理短、通用任務(wù)的能力，沒(méi)有出現(xiàn)性能退化。
論文標(biāo)題： LongAlign

原文鏈接：今日arXiv最熱NLP大模型論文：清華提出LongAlign，打破長(zhǎng)上下文對(duì)齊瓶頸，數(shù)據(jù)、訓(xùn)練策略、評(píng)估基準(zhǔn)一網(wǎng)打盡

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：更快的AI前沿，更深的行業(yè)洞見(jiàn)。聚集25萬(wàn)AI一線(xiàn)開(kāi)發(fā)者、互聯(lián)網(wǎng)中高管和機(jī)構(gòu)投資人。一線(xiàn)作者來(lái)自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠(chǎng)，兼?zhèn)湫袠I(yè)嗅覺(jué)與報(bào)道深度。