復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展:如何實(shí)現(xiàn)世界模型?

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展:如何實(shí)現(xiàn)世界模型?
關(guān)鍵字:模型,字節(jié)跳動(dòng),語(yǔ)言,騰訊,教授
文章來(lái)源:AI前線
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
演講 | 邱錫鵬教授 整理 | 褚杏娟
去年 ChatGPT 爆火后,國(guó)內(nèi)迅速迎來(lái)了“百模大戰(zhàn)”。其中,復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室在去年 2 月率先發(fā)布了國(guó)內(nèi)首個(gè)類 ChatGPT 的對(duì)話式大語(yǔ)言模型 MOSS,開(kāi)放不到 24 個(gè)小時(shí),由于瞬時(shí)訪問(wèn)壓力過(guò)大,MOSS 服務(wù)器顯示流量過(guò)載而無(wú)法訪問(wèn)。
當(dāng)時(shí),平臺(tái)官網(wǎng)發(fā)布解釋稱,MOSS 還是一個(gè)非常不成熟的模型,計(jì)算資源不足以支持如此大的訪問(wèn)量,距離 ChatGPT 還有很長(zhǎng)一段路要走。MOSS 的發(fā)布是一個(gè)重要的里程碑,打通了大語(yǔ)言模型研發(fā)的完整技術(shù)路徑,展示了在資源受限的情況下構(gòu)建高效大語(yǔ)言模型的可能性,還為全球研究者和開(kāi)發(fā)者提供了重要的技術(shù)參考和實(shí)踐經(jīng)驗(yàn),也提升了國(guó)人研發(fā)大語(yǔ)言模型的信心。
至今一年多的時(shí)間過(guò)去,在 6 月 6 日舉行的 CCF 大模型論壇上,復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授邱錫鵬教授坦誠(chéng)道,當(dāng)時(shí)發(fā)布的 MOSS 技術(shù)框架是 GPT-2 時(shí)代的架構(gòu),比較與后面出現(xiàn)的 LLaMA 等模型架構(gòu)相比,相對(duì)過(guò)時(shí),并且訓(xùn)練數(shù)據(jù)量和參數(shù)量也不夠,導(dǎo)致能力有限。
邱錫鵬教授表示,MOSS 之前的路線,基本上和 OpenAI 差不多,但由于
原文鏈接:復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展:如何實(shí)現(xiàn)世界模型?
聯(lián)系作者
文章來(lái)源:AI前線
作者微信:ai-front
作者簡(jiǎn)介:面向AI愛(ài)好者、開(kāi)發(fā)者和科學(xué)家,提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例,助你全面擁抱AIGC。

粵公網(wǎng)安備 44011502001135號(hào)