最多400萬token上下文、推理提速22倍，StreamingLLM火了，已獲GitHub 2.5K星

AIGC動態(tài)歡迎閱讀

原標題：最多400萬token上下文、推理提速22倍，StreamingLLM火了，已獲GitHub 2.5K星

關(guān)鍵字：注意力,報告,模型,窗口,研究者

文章來源：機器之心

內(nèi)容字數(shù)：5205字

內(nèi)容摘要：機器之心報道編輯：蛋醬如果你體驗過與任何一款對話式 AI 機器人的交流，你一定能想起某些極具「挫敗感」的時刻。比如，你在前一天的對話中講述過的要點，被 AI 忘得干干凈凈……這是因為當(dāng)前的多數(shù) LLM 只能記住有限的上下文，就像為考試而臨時抱佛腳的學(xué)生，稍加盤問就會「露出馬腳」。想象一下，如果 AI 助手在中能夠根據(jù)上下文參考幾周或幾個月前的對話，或者，你可以要求 AI 助手總結(jié)長達數(shù)千頁的報…

原文鏈接：點此閱讀原文：最多400萬token上下文、推理提速22倍，StreamingLLM火了，已獲GitHub 2.5K星

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺