不要自回歸！擴散模型作者創(chuàng)業(yè)，首個商業(yè)級擴散LLM來了，編程秒出結(jié)果

趕緊用起來吧。

原標題：不要自回歸！擴散模型作者創(chuàng)業(yè)，首個商業(yè)級擴散LLM來了，編程秒出結(jié)果
文章來源：機器之心
內(nèi)容字數(shù)：5171字

Inception Labs發(fā)布首個商業(yè)級擴散大型語言模型Mercury

本文總結(jié)了機器之心報道的Inception Labs發(fā)布的商業(yè)級擴散大型語言模型Mercury (dLLM) 的主要信息。該模型在速度和性能上均展現(xiàn)出顯著優(yōu)勢，有望革新大型語言模型的應(yīng)用范式。

1. Mercury：速度與性能兼?zhèn)涞膁LLM

當前，Transformer和擴散模型是AI領(lǐng)域最熱門的模型架構(gòu)。Inception Labs推出的Mercury，是首個商業(yè)級擴散大型語言模型，它結(jié)合了兩種架構(gòu)的優(yōu)勢，在NVIDIA H100上實現(xiàn)了每秒超過1000 token的處理速度，性能與現(xiàn)有經(jīng)過速度優(yōu)化的LLM相當甚至超越。這比一些前沿模型的速度快了20倍以上，以往只有專用硬件才能達到如此高的吞吐量。

2. 擴散模型的優(yōu)勢與突破

不同于傳統(tǒng)的自回歸LLM從左到右逐個生成token，擴散模型一次性預(yù)測所有方向，從噪聲開始逐步去噪生成token流。雖然過去研究認為自回歸更適合文本，但Mercury證明了擴散模型在文本模態(tài)上的巨大潛力。其“從粗到細”的生成方式，使其在推理、結(jié)構(gòu)化響應(yīng)、糾錯和減少幻覺方面表現(xiàn)更好。

3. Mercury Coder：代碼生成領(lǐng)域的佼佼者

Mercury Coder是Inception Labs發(fā)布的第一個面向公眾的dLLM。在標準編碼基準測試中，它超越了GPT-4o Mini和Claude 3.5 Haiku等為速度優(yōu)化的自回歸模型，速度提升高達10倍。在Copilot Arena的基準測試中，Mercury Coder Mini的性能甚至超過了GPT-4o等更大的模型，并且速度是GPT-4o Mini的4倍。

4. 高效的并行生成機制

Mercury利用GPU的并行生成機制，顯著提高了效率，降低了推理成本（高達10倍）。這意味著在相同的硬件上，可以為更多用戶提供服務(wù)，降低了運營成本。

5. 廣泛的應(yīng)用前景

Mercury Coder支持多種用例，包括RAG（檢索增強生成）、工具使用和智能體工作流。目前已上線公開試用，Inception Labs也為企業(yè)用戶提供API和內(nèi)部部署服務(wù)。

6. 行業(yè)影響與未來展望

著名AI研究科學(xué)家Andrej Karpathy高度評價了Mercury的意義，認為它進一步證明了擴散模型在文本模態(tài)上的潛力。Inception Labs的成功，標志著擴散模型在大型語言模型領(lǐng)域的重大突破，為下一代LLM的發(fā)展指明了方向。

總而言之，Mercury的出現(xiàn)標志著擴散模型在大型語言模型領(lǐng)域的重大突破，其卓越的速度和性能優(yōu)勢，為LLM的應(yīng)用帶來了新的可能性，也預(yù)示著未來LLM發(fā)展的新方向。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺