拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3

AIGC動態(tài)歡迎閱讀

原標(biāo)題：拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3
關(guān)鍵字：模型,語言,算法,論文,序列
文章來源：新智元
內(nèi)容字?jǐn)?shù)：4063字

內(nèi)容摘要：

新智元報(bào)道編輯：喬楊 好困
【新智元導(dǎo)讀】來自加州大學(xué)圣地亞哥分校和上海交通大學(xué)的幾位研究者發(fā)表了他們關(guān)于「一致性大語言模型」的研究成果（Consistency LLM），使用Jacobi解碼算法實(shí)現(xiàn)并行化并使用「一致性損失函數(shù)」，將文字生成速度提升了2.4-3.4倍。DeepMind新發(fā)布的AlphaFold 3是科技圈今天的絕對大熱門，成為了Hacker News等許多科技媒體的頭版頭條。
Hacker News熱榜上緊隨其后的則是今年2月發(fā)布的論文「一致性大語言模型」。
到底是什么樣的成果，竟然可以頂著AlphaFold 3的熱度出圈？
這篇論文不僅切中了大語言模型推理速度慢的痛點(diǎn)，而且實(shí)現(xiàn)了性能大幅度提升。
CLLM在多個下游任務(wù)上都取得了2-3倍的加速，且推理過程沒有引入額外成本。在GSM8K和Spider兩個任務(wù)中，相比今年1月剛發(fā)布的Medusa 2都有了明顯提升。
論文的兩位共同一作都是一年級博士生，分別是來自上海交通大學(xué)的寇思麒和來自加州大學(xué)圣地亞哥分校的胡嵐翔，他們的指導(dǎo)老師是交大的鄧志杰教授和UCSD的張昊教授，后者也是Vicuna/vLLM/Chatbot A

原文鏈接：拋棄自回歸，連接一致性Diffusion和LLM！UCSD上交新作熱度緊追AF 3

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。