「Meta版ChatGPT」背后的技術：想讓基礎LLM更好地處理長上下文，只需持續預訓練

AIGC動態歡迎閱讀

原標題：「Meta版ChatGPT」背后的技術：想讓基礎LLM更好地處理長上下文，只需持續預訓練

關鍵字：模型,上下文,長上,任務,下文

文章來源：機器之心

內容字數：10932字

內容摘要：機器之心報道編輯：Panda W在處理長上下文方面，LLaMA 一直力有不足，而通過持續預訓練和其它一些方法改進，Meta 的這項研究成功讓 LLM 具備了有效理解上下文的能力。大型語言模型（LLM）所使用的數據量和計算量都是前所未見的，這也使其有望從根本上改變我們與數字世界的交互方式。隨著 LLM 被不斷快速部署到生產環境中并不斷擴展進化，可以預見這些模型將能在更多復雜精細的用例中提供服務，比如…

原文鏈接：點此閱讀原文：「Meta版ChatGPT」背后的技術：想讓基礎LLM更好地處理長上下文，只需持續預訓練

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺