北大字節VAR奪魁！清華廈大研究閃耀提名，AI領域的創新盛宴！

論文一作華人濃度爆表

原標題：NeurIPS 2024最佳論文揭曉！北大字節VAR獲最佳論文，清華廈大研究獲提名
文章來源：量子位
內容字數：4559字

NeurIPS 2024最佳論文揭曉

在剛剛結束的NeurIPS 2024會議上，最佳論文獎項揭曉，其中有三篇由華人研究者主導，涉及北大、新國立大學、廈門大學和清華大學等機構。與去年相比，本屆的競爭更加激烈，共有15671篇有效論文投稿，而最終接收率僅為25.8%。以下是獲獎論文的詳細介紹。

1. 最佳論文

本屆NeurIPS共評選出兩篇最佳論文：

（1）《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》

該論文由北京大學與字節跳動的研究者共同完成，提出了一種名為Visual Autoregressive Modeling (VAR)的新框架。VAR模型通過多尺度自回歸生成圖像，相較于傳統方法顯著提高了生成速度，并在ImageNet數據集上表現優異，超越了現有的自回歸模型和擴散模型。

（2）《Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators》

此論文由新加坡國立大學和Sea AI Lab的研究者共同完成，提出了Stochastic Taylor Derivative Estimator (STDE)算法，旨在優化高維和高階微分算子的神經網絡損失函數。研究顯示，該方法在處理物理信息神經網絡時，提供了大幅的速度提升和內存減少，并開啟了高階微分算子在大規模問題中的應用可能性。

2. 最佳論文亞軍

此外，還有兩篇最佳論文亞軍：

（1）《Not All Tokens Are What You Need for Pretraining》

由廈門大學、清華大學及微軟的研究者共同完成。論文提出了一種新的語言模型預訓練方法RHO-1，強調并非所有tokens在訓練中都同樣重要。通過選擇性語言建模（SLM），該方法顯著提升了在數學任務上的準確率，并改善了數據效率。

（2）《Guiding a Diffusion Model with a Bad Version of Itself》

由英偉達和阿爾托大學共同完成，提出了一種自引導方法，通過使用主模型的較小版本來提升圖像生成質量。實驗結果顯示，該方法在不同分辨率下均能顯著改善生成效果。

總結

NeurIPS 2024的最佳論文展示了在圖像生成、微分算子優化和語言模型預訓練等領域的創新進展，這些研究不僅為相關領域提供了新的視角，也為未來的研究方向指明了道路。接下來，期待這些成果能夠在實際應用中發揮更大的價值。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破