NeurIPS 2023精選回顧：大模型最火，清華ToT思維樹上榜

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：NeurIPS 2023精選回顧：大模型最火，清華ToT思維樹上榜
關(guān)鍵字：模型,論文,語言,能力,題目
文章來源：新智元
內(nèi)容字?jǐn)?shù)：7913字

內(nèi)容摘要：

新智元報(bào)道編輯：Mindy
【新智元導(dǎo)讀】美國著名科技播客Latent Space對(duì)于剛剛過去的NeurIPS 2023上的精彩論文進(jìn)行了一個(gè)全面的總結(jié)，回顧了多篇優(yōu)秀論文，雖然沒有獲獎(jiǎng)，但同樣值得學(xué)界關(guān)注。近日，作為美國前十的科技博客，Latent Space對(duì)于剛剛過去的NeurIPS 2023大會(huì)進(jìn)行了精選回顧總結(jié)。
在NeurIPS會(huì)議總共接受的3586篇論文之中，除去6篇獲獎(jiǎng)?wù)撐模渌撐囊餐瑯觾?yōu)秀和具有潛力，甚至有可能預(yù)示著下一個(gè)AI領(lǐng)域的新突破。
那就讓我們來一起看看吧！
論文題目：QLoRA: Efficient Finetuning of Quantized LLMs論文地址：https://openreview.net/pdf?id=OUIFPHEgJU
這篇論文提出了QLoRA，這是LoRA的一種更省內(nèi)存但速度較慢的版本，它使用了幾種優(yōu)化技巧來節(jié)省內(nèi)存。
總體而言，QLoRA使得在對(duì)大型語言模型進(jìn)行微調(diào)時(shí)可以使用更少的GPU內(nèi)存。
他們訓(xùn)練了一個(gè)新模型，Guanaco，僅在單個(gè)GPU上進(jìn)行了為期24小時(shí)的微調(diào)，并在Vicuna基準(zhǔn)測試中表現(xiàn)優(yōu)于先前的模型。
與此

原文鏈接：NeurIPS 2023精選回顧：大模型最火，清華ToT思維樹上榜

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。