賈佳亞韓松團隊新作：兩行代碼讓大模型上下文窗口倍增 | GitHub熱榜

AIGC動態歡迎閱讀

原標題：賈佳亞韓松團隊新作：兩行代碼讓大模型上下文窗口倍增 | GitHub熱榜

關鍵字：模型,注意力,長度,數據,窗口

文章來源：量子位

內容字數：4214字

內容摘要：克雷西 發自 凹非寺量子位 | 公眾號 QbitAI只要兩行代碼+11個小時微調，就能把大模型4k的窗口長度提高到32k。規模上，最長可以擴展到10萬token，一口氣就能讀完長篇小說的多個章節或中短篇小說。賈佳亞韓松聯合團隊提出的這個基于LoRA的全新大模型微調方法，登上了GitHub熱榜。這種方式叫做LongLoRA，由來自香港中文大學和MIT的全華人團隊聯合出品。在一臺8個A100組成的單機…

原文鏈接：點此閱讀原文：賈佳亞韓松團隊新作：兩行代碼讓大模型上下文窗口倍增 | GitHub熱榜

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破