論文一作華人濃度爆表

原標(biāo)題：NeurIPS 2024最佳論文揭曉！北大字節(jié)VAR獲最佳論文，清華廈大研究獲提名
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4559字

NeurIPS 2024最佳論文揭曉

在剛剛結(jié)束的NeurIPS 2024會議上，最佳論文獎項(xiàng)揭曉，其中有三篇由華人研究者主導(dǎo)，涉及北大、新國立大學(xué)、廈門大學(xué)和清華大學(xué)等機(jī)構(gòu)。與去年相比，本屆的競爭更加激烈，共有15671篇有效論文投稿，而最終接收率僅為25.8%。以下是獲獎?wù)撐牡脑敿?xì)介紹。

1. 最佳論文

本屆NeurIPS共評選出兩篇最佳論文：

（1）《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》

該論文由北京大學(xué)與字節(jié)跳動的研究者共同完成，提出了一種名為Visual Autoregressive Modeling (VAR)的新框架。VAR模型通過多尺度自回歸生成圖像，相較于傳統(tǒng)方法顯著提高了生成速度，并在ImageNet數(shù)據(jù)集上表現(xiàn)優(yōu)異，超越了現(xiàn)有的自回歸模型和擴(kuò)散模型。

（2）《Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators》

此論文由新加坡國立大學(xué)和Sea AI Lab的研究者共同完成，提出了Stochastic Taylor Derivative Estimator (STDE)算法，旨在優(yōu)化高維和高階微分算子的神經(jīng)網(wǎng)絡(luò)損失函數(shù)。研究顯示，該方法在處理物理信息神經(jīng)網(wǎng)絡(luò)時，提供了大幅的速度提升和內(nèi)存減少，并開啟了高階微分算子在大規(guī)模問題中的應(yīng)用可能性。

2. 最佳論文亞軍

此外，還有兩篇最佳論文亞軍：

（1）《Not All Tokens Are What You Need for Pretraining》

由廈門大學(xué)、清華大學(xué)及微軟的研究者共同完成。論文提出了一種新的語言模型預(yù)訓(xùn)練方法RHO-1，強(qiáng)調(diào)并非所有tokens在訓(xùn)練中都同樣重要。通過選擇性語言建模（SLM），該方法顯著提升了在數(shù)學(xué)任務(wù)上的準(zhǔn)確率，并改善了數(shù)據(jù)效率。

（2）《Guiding a Diffusion Model with a Bad Version of Itself》

由英偉達(dá)和阿爾托大學(xué)共同完成，提出了一種自引導(dǎo)方法，通過使用主模型的較小版本來提升圖像生成質(zhì)量。實(shí)驗(yàn)結(jié)果顯示，該方法在不同分辨率下均能顯著改善生成效果。

總結(jié)

NeurIPS 2024的最佳論文展示了在圖像生成、微分算子優(yōu)化和語言模型預(yù)訓(xùn)練等領(lǐng)域的創(chuàng)新進(jìn)展，這些研究不僅為相關(guān)領(lǐng)域提供了新的視角，也為未來的研究方向指明了道路。接下來，期待這些成果能夠在實(shí)際應(yīng)用中發(fā)揮更大的價值。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破