拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3
關(guān)鍵字：模型,語(yǔ)言,算法,論文,序列
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：4063字

內(nèi)容摘要：

新智元報(bào)道編輯：?jiǎn)虠?好困
【新智元導(dǎo)讀】來(lái)自加州大學(xué)圣地亞哥分校和上海交通大學(xué)的幾位研究者發(fā)表了他們關(guān)于「一致性大語(yǔ)言模型」的研究成果（Consistency LLM），使用Jacobi解碼算法實(shí)現(xiàn)并行化并使用「一致性損失函數(shù)」，將文字生成速度提升了2.4-3.4倍。DeepMind新發(fā)布的AlphaFold 3是科技圈今天的絕對(duì)大熱門(mén)，成為了Hacker News等許多科技媒體的頭版頭條。
Hacker News熱榜上緊隨其后的則是今年2月發(fā)布的論文「一致性大語(yǔ)言模型」。
到底是什么樣的成果，竟然可以頂著AlphaFold 3的熱度出圈？
這篇論文不僅切中了大語(yǔ)言模型推理速度慢的痛點(diǎn)，而且實(shí)現(xiàn)了性能大幅度提升。
CLLM在多個(gè)下游任務(wù)上都取得了2-3倍的加速，且推理過(guò)程沒(méi)有引入額外成本。在GSM8K和Spider兩個(gè)任務(wù)中，相比今年1月剛發(fā)布的Medusa 2都有了明顯提升。
論文的兩位共同一作都是一年級(jí)博士生，分別是來(lái)自上海交通大學(xué)的寇思麒和來(lái)自加州大學(xué)圣地亞哥分校的胡嵐翔，他們的指導(dǎo)老師是交大的鄧志杰教授和UCSD的張昊教授，后者也是Vicuna/vLLM/Chatbot A

原文鏈接：拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。