大模型的現狀與未來挑戰
近日,Business Insider采訪了12位人工智能領域的專家,探討了當前大模型的發展瓶頸及未來的可能方向。盡管業內一些領導者如OpenAI的CEO Altman堅稱技術仍在進步,但不少觀察人士卻認為,隨著技術成熟,模型的效能提升已顯乏力,面臨諸多新挑戰。
數據與計算能力的瓶頸
研究人員指出,在大模型的預訓練階段,獲取計算能力和訓練數據是兩大關鍵障礙。英偉達作為主要的GPU供應商,面臨著高需求下的供給挑戰。此外,隨著可用的公共數據逐漸枯竭,研究公司Epoch AI預測到2028年可用文本數據可能會被完全耗盡。
多模態與私有數據的探索
當公共數據面臨瓶頸時,專家們建議利用多模態數據(如視覺與音頻數據的結合)和私有數據。越來越多的公司與出版商簽訂協議,以獲取受版權保護的信息資源,發掘私人數據的潛力,成為提升模型能力的新路徑。
合成數據的潛力與局限
提升模型訓練數據的質量成為研究熱點。專家們認為,合成數據可能是一個有效的工具,但并非解決所有問題的靈丹妙藥。有效的應用需要人類的監督,以確保合成數據的相關性及有效性。
推理模型的新方向
除了訓練數據的提升,構建高效的推理模型也成為行業關注的重點。通過延長模型響應時間以進行更復雜的推理,可能成為新的發展方向。OpenAI的新推理模型o1表明,推理能力的提高或許比單純擴大模型規模更為重要。
行業未來預期與投資者的耐心考驗
專家們普遍認為,未來行業的進步可能會放緩,但這并不意味著技術的瓶頸。投資者和客戶是否愿意耐心等待行業的漸進式發展,將在很大程度上影響未來的投資和技術創新。
總的來說,雖然大模型的快速發展似乎已遇到瓶頸,但通過多模態數據、私有數據和推理模型等新策略,行業仍然有潛力在不同方向上取得突破。
聯系作者
文章來源:新智元
作者微信:
作者簡介:智能+中國主平臺,致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展,關注人機融合、人工智能和機器人對人類社會與文明進化的影響,領航中國新智能時代。