AIGC動態(tài)歡迎閱讀

原標題：開源+共訓，雙輪驅動基礎大模型創(chuàng)新普惠 ｜浪潮信息吳韶華@MEET2024
關鍵字：模型,數(shù)據,結構,能力,里面
文章來源：量子位
內容字數(shù)：9353字

內容摘要：

編輯部 整理自 MEET2024量子位 | 公眾號 QbitAI相比GPT-3，GPT-4（包括GPT-3.5）的能力有了非常巨大的進步。
這背后其實得益于一個很重要的過程引入：微調。
在給定模型結構的情況下（即Transformer結構），隨著模型參數(shù)量增大、投入算力規(guī)模和數(shù)據規(guī)模越大，模型的精度往往會更高。
但此類擴展率的研究是基于預訓練的范式下開展。隨即，訓練模式的變化讓我們也不得不重新思考：
在“預訓練+微調”的范式下，尤其在微調的重要性越來越高的情況下，如何改進算法、數(shù)據以適應預訓練與微調不同階段的特性？
在MEET 2024智能未來大會現(xiàn)場，浪潮信息AI軟件研發(fā)總監(jiān)吳韶華博士便拋出了這樣一個問題。
他介紹，浪潮信息的“源1.0”大模型和“源2.0”大模型正是基于以上角度出發(fā)，從算法、數(shù)據、計算三個層面入手打造而成，最終在代碼、數(shù)據邏輯等方面都取得了很出色的表現(xiàn)。
那么，具體都有哪些實踐和經驗？
為了完整體現(xiàn)吳韶華博士對GPT-4時代大模型訓練模式的見解和思考，量子位在不改變原意的基礎上，對他的演講內容進行了編輯整理。
關于MEET 智能未來大會：MEET大會是由量子位主辦的

原文鏈接：開源+共訓，雙輪驅動基礎大模型創(chuàng)新普惠 ｜浪潮信息吳韶華@MEET2024

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業(yè)新突破