Pika聯創參與新研究：Diffusion能搶GPT的活了！成功挑戰自回歸文本范式

AIGC動態歡迎閱讀

原標題：Pika聯創參與新研究：Diffusion能搶GPT的活了！成功挑戰自回歸文本范式
關鍵字：模型,文本,分數,梯度,作者
文章來源：量子位
內容字數：4252字

內容摘要：

豐色 發自 凹非寺量子位 | 公眾號 QbitAI縱觀生成式AI領域中的兩個主導者：自回歸和擴散模型。
一個專攻文本等離散數據，一個長于圖像等連續數據。
如果，我們讓后者來挑戰前者的主場，它能行嗎？
斯坦福博士的最新研究，就搞了這么一個擴散模型VS自回歸模的同臺PK。
結果：
挑戰成功！（下面為生成示意圖，最后得到的文本是“Hello world，Iam a languagediffusionmodel，namedSEDD”）
并且他們的擴散模型在困惑度和質量上已率先超越自回歸的GPT-2。
趕緊來瞧瞧。
擴散模型挑戰離散數據用自回歸來處理離散文本數據，即根據之前的token來預測下一個token，這可能是目前我們能想象到的最簡單可行的方法。
為什么這么說？
作者在這里用GAN舉了個例子：
對于圖像生成，GAN首先根據隨機噪聲生成圖像，然后使用判別器來“懲罰”偏差，因此梯度信息可以反向傳播到生成器。
但如果我們假設用GAN來生成文本，就行不通了。
因為盡管我們可以定義同樣原理的生成器和判別器，但文本的離散性質使得更新生成器非常難。
（圖像是連續的，因此可以通過反向傳播來計算梯度，但文本

原文鏈接：Pika聯創參與新研究：Diffusion能搶GPT的活了！成功挑戰自回歸文本范式

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破