標(biāo)簽:長上

Meta再放「長文本」殺器Llama 2-Long:70B尺寸登頂最強(qiáng)「32k上下文」模型,超越ChatGPT

新智元報(bào)道編輯:LRS【新智元導(dǎo)讀】Llama 2-Long計(jì)算量需求比重新訓(xùn)練降低40%,還不影響短任務(wù)性能!雖然大型語言模型在處理日常問答、總結(jié)文本等任務(wù)上表現(xiàn)...
閱讀原文

將LLaMA2上下文擴(kuò)展至100k,MIT、港中文有了LongLoRA方法

機(jī)器之心報(bào)道機(jī)器之心編輯部無需過多計(jì)算資源即可擴(kuò)展大模型上下文長度。一般來說,大模型預(yù)訓(xùn)練時(shí)文本長度是固定的,如果想要支持更長文本,就需要對模型進(jìn)...
閱讀原文
123