復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展：如何實(shí)現(xiàn)世界模型？

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展：如何實(shí)現(xiàn)世界模型？
關(guān)鍵字：模型,字節(jié)跳動(dòng),語言,騰訊,教授
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

演講 | 邱錫鵬教授整理 | 褚杏娟
去年 ChatGPT 爆火后，國(guó)內(nèi)迅速迎來了“百模大戰(zhàn)”。其中，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室在去年 2 月率先發(fā)布了國(guó)內(nèi)首個(gè)類 ChatGPT 的對(duì)話式大語言模型 MOSS，開放不到 24 個(gè)小時(shí)，由于瞬時(shí)訪問壓力過大，MOSS 服務(wù)器顯示流量過載而無法訪問。
當(dāng)時(shí)，平臺(tái)官網(wǎng)發(fā)布解釋稱，MOSS 還是一個(gè)非常不成熟的模型，計(jì)算資源不足以支持如此大的訪問量，距離 ChatGPT 還有很長(zhǎng)一段路要走。MOSS 的發(fā)布是一個(gè)重要的里程碑，打通了大語言模型研發(fā)的完整技術(shù)路徑，展示了在資源受限的情況下構(gòu)建高效大語言模型的可能性，還為全球研究者和開發(fā)者提供了重要的技術(shù)參考和實(shí)踐經(jīng)驗(yàn)，也提升了國(guó)人研發(fā)大語言模型的信心。
至今一年多的時(shí)間過去，在 6 月 6 日舉行的 CCF 大模型論壇上，復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授邱錫鵬教授坦誠(chéng)道，當(dāng)時(shí)發(fā)布的 MOSS 技術(shù)框架是 GPT-2 時(shí)代的架構(gòu)，比較與后面出現(xiàn)的 LLaMA 等模型架構(gòu)相比，相對(duì)過時(shí)，并且訓(xùn)練數(shù)據(jù)量和參數(shù)量也不夠，導(dǎo)致能力有限。
邱錫鵬教授表示，MOSS 之前的路線，基本上和 OpenAI 差不多，但由于

原文鏈接：復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展：如何實(shí)現(xiàn)世界模型？