Meta再放「長文本」殺器Llama 2-Long：70B尺寸登頂最強(qiáng)「32k上下文」模型，超越ChatGPT

AIGC動態(tài)歡迎閱讀

原標(biāo)題：Meta再放「長文本」殺器Llama 2-Long：70B尺寸登頂最強(qiáng)「32k上下文」模型，超越ChatGPT

關(guān)鍵字：模型,長上,下文,數(shù)據(jù),任務(wù)

文章來源：新智元

內(nèi)容字?jǐn)?shù)：12616字

內(nèi)容摘要：新智元報道編輯：LRS【新智元導(dǎo)讀】Llama 2-Long計算量需求比重新訓(xùn)練降低40%，還不影響短任務(wù)性能！雖然大型語言模型在處理日常問答、總結(jié)文本等任務(wù)上表現(xiàn)非常出色，但如何讓LLM在不顯著增加計算需求、不降低短文本性能的前提下，能夠處理「超長文本輸入」仍然是一個難題。最近，Meta團(tuán)隊公開了支持長上下文的模型Llama 2 Long的訓(xùn)練方法，該模型的有效上下文窗口多達(dá)32768個toke…

原文鏈接：點此閱讀原文：Meta再放「長文本」殺器Llama 2-Long：70B尺寸登頂最強(qiáng)「32k上下文」模型，超越ChatGPT

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。