不依賴token，字節(jié)級模型來了！直接處理二進制數(shù)據(jù)

AIGC動態(tài)歡迎閱讀

原標題：不依賴token，字節(jié)級模型來了！直接處理二進制數(shù)據(jù)
關(guān)鍵字：字節(jié),騰訊,模型,數(shù)據(jù),序列
文章來源：量子位
內(nèi)容字數(shù)：5503字

內(nèi)容摘要：

數(shù)字游民 投稿量子位 | 公眾號 QbitAI最新GPT，不預(yù)測token了。
微軟亞研院等發(fā)布bGPT，仍舊基于Transformer，但是模型預(yù)測的是下一個字節(jié)（byte）。
通過直接處理原生二進制數(shù)據(jù)，bGPT將所有輸入內(nèi)容都視為字節(jié)序列，從而可以不受限于任何特定的格式或任務(wù)。
能預(yù)測CPU行為，準確率超過99.99%；還能直接模擬MIDI——一種音樂傳輸和存儲的標準格式。
研究團隊認為，傳統(tǒng)的深度學(xué)習(xí)往往忽視了字節(jié)——數(shù)字世界的構(gòu)建基石。
不論是信息的形式還是操作，都是通過二進制格式編碼和處理的。字節(jié)構(gòu)成了所有數(shù)據(jù)、設(shè)備和軟件的基礎(chǔ)，從計算機處理器到我們?nèi)粘Ｊ褂玫碾娮赢a(chǎn)品中的操作系統(tǒng)。
這篇論文的標題清晰地指出了其目標：
超越語言模型：將字節(jié)模型作為數(shù)字世界的模擬器。
模擬CPU行為準確率超99.99%bGPT通過字節(jié)級處理，不僅能夠應(yīng)用于常規(guī)的AI生成和理解任務(wù)，還能處理更多非傳統(tǒng)應(yīng)用。
例如，它能夠直接模擬MIDI——一種音樂傳輸和存儲的標準格式，之前的研究由于MIDI的二進制本質(zhì)而避免了直接對這類數(shù)據(jù)的建模。
但bGPT天生適合此類任務(wù)。它能夠準確模擬符號音樂數(shù)據(jù)轉(zhuǎn)換算法

原文鏈接：不依賴token，字節(jié)級模型來了！直接處理二進制數(shù)據(jù)

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破