模型越大，性能越好？蘋果自回歸視覺模型AIM：沒錯

AIGC動態(tài)歡迎閱讀

原標題：模型越大，性能越好？蘋果自回歸視覺模型AIM：沒錯
關(guān)鍵字：模型,研究者,報告,目標,下游
文章來源：機器之心
內(nèi)容字數(shù)：6522字

內(nèi)容摘要：

機器之心報道
編輯：蛋醬、杜偉視覺模型，同樣遵循「參數(shù)越多性能越強」的規(guī)律？剛剛，一項來自蘋果公司的研究驗證了這個猜想。
過去幾年，大規(guī)模預訓練模型在 NLP 領(lǐng)域取得了成功，這類模型可以通過幾個示例解決復雜的推理任務，也可以按照指令進行推理。
眾所周知的是，預訓練模型能取得成功的一個理論基礎(chǔ)是，隨著容量（即參數(shù)量）或預訓練數(shù)據(jù)量的增加，模型能夠不斷提升性能。
這很自然地引發(fā)了研究者們的聯(lián)想：使用自回歸目標對 Transformers 進行縮放的成功是否僅限于文本？
在最新的一篇論文《Scalable Pre-training of Large Autoregressive Image Models》中，蘋果的研究者提出了自回歸圖像模型（AIM），探討了用自回歸目標訓練 ViT 模型是否能在學習表征方面獲得與 LLMs 相同的擴展能力。論文鏈接：https://arxiv.org/pdf/2401.08541.pdf
項目地址：https://github.com/apple/ml-aim
先說結(jié)論：研究者發(fā)現(xiàn)，模型容量可以輕松擴展到數(shù)十億個參數(shù)，并且 AIM 能夠有效利用大量未經(jīng)整理

原文鏈接：模型越大，性能越好？蘋果自回歸視覺模型AIM：沒錯

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺