不要自回歸！擴散模型作者創業，首個商業級擴散LLM來了，編程秒出結果

趕緊用起來吧。

原標題：不要自回歸！擴散模型作者創業，首個商業級擴散LLM來了，編程秒出結果
文章來源：機器之心
內容字數：5171字

Inception Labs發布首個商業級擴散大型語言模型Mercury

本文總結了機器之心報道的Inception Labs發布的商業級擴散大型語言模型Mercury (dLLM) 的主要信息。該模型在速度和性能上均展現出顯著優勢，有望革新大型語言模型的應用范式。

1. Mercury：速度與性能兼備的dLLM

當前，Transformer和擴散模型是AI領域最熱門的模型架構。Inception Labs推出的Mercury，是首個商業級擴散大型語言模型，它結合了兩種架構的優勢，在NVIDIA H100上實現了每秒超過1000 token的處理速度，性能與現有經過速度優化的LLM相當甚至超越。這比一些前沿模型的速度快了20倍以上，以往只有專用硬件才能達到如此高的吞吐量。

2. 擴散模型的優勢與突破

不同于傳統的自回歸LLM從左到右逐個生成token，擴散模型一次性預測所有方向，從噪聲開始逐步去噪生成token流。雖然過去研究認為自回歸更適合文本，但Mercury證明了擴散模型在文本模態上的巨大潛力。其“從粗到細”的生成方式，使其在推理、結構化響應、糾錯和減少幻覺方面表現更好。

3. Mercury Coder：代碼生成領域的佼佼者

Mercury Coder是Inception Labs發布的第一個面向公眾的dLLM。在標準編碼基準測試中，它超越了GPT-4o Mini和Claude 3.5 Haiku等為速度優化的自回歸模型，速度提升高達10倍。在Copilot Arena的基準測試中，Mercury Coder Mini的性能甚至超過了GPT-4o等更大的模型，并且速度是GPT-4o Mini的4倍。

4. 高效的并行生成機制

Mercury利用GPU的并行生成機制，顯著提高了效率，降低了推理成本（高達10倍）。這意味著在相同的硬件上，可以為更多用戶提供服務，降低了運營成本。

5. 廣泛的應用前景

Mercury Coder支持多種用例，包括RAG（檢索增強生成）、工具使用和智能體工作流。目前已上線公開試用，Inception Labs也為企業用戶提供API和內部部署服務。

6. 行業影響與未來展望

著名AI研究科學家Andrej Karpathy高度評價了Mercury的意義，認為它進一步證明了擴散模型在文本模態上的潛力。Inception Labs的成功，標志著擴散模型在大型語言模型領域的重大突破，為下一代LLM的發展指明了方向。

總而言之，Mercury的出現標志著擴散模型在大型語言模型領域的重大突破，其卓越的速度和性能優勢，為LLM的應用帶來了新的可能性，也預示著未來LLM發展的新方向。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺