AIGC動態(tài)歡迎閱讀

原標題：將LLaMA2上下文擴展至100k，MIT、港中文有了LongLoRA方法

關(guān)鍵字：上下文,模型,研究者,長度,長上

文章來源：機器之心

內(nèi)容字數(shù)：6020字

內(nèi)容摘要：機器之心報道機器之心編輯部無需過多計算資源即可擴展大模型上下文長度。一般來說，大模型預(yù)訓練時文本長度是固定的，如果想要支持更長文本，就需要對模型進行微調(diào)。但是訓練具有長上下文的 LLM 計算成本很高，需要大量的訓練時間和 GPU 資源。比如，訓練一個具有 8192 長度上下文的模型，相比于 2048 長度上下文，需要 16 倍的計算資源。就算如此，上下文長度對模型性能至關(guān)重要，因為它代表了 LLM…

原文鏈接：點此閱讀原文：將LLaMA2上下文擴展至100k，MIT、港中文有了LongLoRA方法

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺