AIGC動態歡迎閱讀

原標題：模型越大，性能越好？蘋果自回歸視覺模型AIM：沒錯
關鍵字：模型,研究者,報告,目標,下游
文章來源：機器之心
內容字數：6522字

內容摘要：

機器之心報道
編輯：蛋醬、杜偉視覺模型，同樣遵循「參數越多性能越強」的規律？剛剛，一項來自蘋果公司的研究驗證了這個猜想。
過去幾年，大規模預訓練模型在 NLP 領域取得了成功，這類模型可以通過幾個示例解決復雜的推理任務，也可以按照指令進行推理。
眾所周知的是，預訓練模型能取得成功的一個理論基礎是，隨著容量（即參數量）或預訓練數據量的增加，模型能夠不斷提升性能。
這很自然地引發了研究者們的聯想：使用自回歸目標對 Transformers 進行縮放的成功是否僅限于文本？
在最新的一篇論文《Scalable Pre-training of Large Autoregressive Image Models》中，蘋果的研究者提出了自回歸圖像模型（AIM），探討了用自回歸目標訓練 ViT 模型是否能在學習表征方面獲得與 LLMs 相同的擴展能力。論文鏈接：https://arxiv.org/pdf/2401.08541.pdf
項目地址：https://github.com/apple/ml-aim
先說結論：研究者發現，模型容量可以輕松擴展到數十億個參數，并且 AIM 能夠有效利用大量未經整理

原文鏈接：模型越大，性能越好？蘋果自回歸視覺模型AIM：沒錯

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺