復旦邱錫鵬教授講述MOSS 2 研發進展：如何實現世界模型？

AIGC動態歡迎閱讀

原標題：復旦邱錫鵬教授講述MOSS 2 研發進展：如何實現世界模型？
關鍵字：模型,字節跳動,語言,騰訊,教授
文章來源：AI前線
內容字數：0字

內容摘要：

演講 | 邱錫鵬教授 整理 | 褚杏娟
去年 ChatGPT 爆火后，國內迅速迎來了“百模大戰”。其中，復旦大學自然語言處理實驗室在去年 2 月率先發布了國內首個類 ChatGPT 的對話式大語言模型 MOSS，開放不到 24 個小時，由于瞬時訪問壓力過大，MOSS 服務器顯示流量過載而無法訪問。
當時，平臺官網發布解釋稱，MOSS 還是一個非常不成熟的模型，計算資源不足以支持如此大的訪問量，距離 ChatGPT 還有很長一段路要走。MOSS 的發布是一個重要的里程碑，打通了大語言模型研發的完整技術路徑，展示了在資源受限的情況下構建高效大語言模型的可能性，還為全球研究者和開發者提供了重要的技術參考和實踐經驗，也提升了國人研發大語言模型的信心。
至今一年多的時間過去，在 6 月 6 日舉行的 CCF 大模型論壇上，復旦大學計算機學院教授邱錫鵬教授坦誠道，當時發布的 MOSS 技術框架是 GPT-2 時代的架構，比較與后面出現的 LLaMA 等模型架構相比，相對過時，并且訓練數據量和參數量也不夠，導致能力有限。
邱錫鵬教授表示，MOSS 之前的路線，基本上和 OpenAI 差不多，但由于

原文鏈接：復旦邱錫鵬教授講述MOSS 2 研發進展：如何實現世界模型？

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。