HART（Hybrid Autoregressive Transformer）是一款由麻省理工學(xué)院研究團隊開發(fā)的先進自回歸視覺生成模型。它能夠直接生成1024×1024像素的高分辨率圖像，其圖像質(zhì)量與擴散模型相媲美。HART采用混合Tokenizer技術(shù)，將自動編碼器的連續(xù)潛在表示細分為離散token和連續(xù)token，其中離散token負責(zé)捕捉圖像的主要結(jié)構(gòu)，而連續(xù)token則專注于細節(jié)處理。其輕量級殘差擴散模塊僅需3700萬參數(shù)，顯著提升了計算效率。

HART是什么

HART（Hybrid Autoregressive Transformer）是麻省理工學(xué)院的研究團隊推出的一種自回歸視覺生成模型，能夠生成1024×1024像素的高分辨率圖像，質(zhì)量與擴散模型相當(dāng)。HART的核心在于混合Tokenizer技術(shù)，它將自動編碼器的連續(xù)潛在表示分解為離散token和連續(xù)token，離散token負責(zé)捕捉圖像的主要結(jié)構(gòu)，而連續(xù)token則專注于細節(jié)部分。HART的輕量級殘差擴散模塊僅用3700萬參數(shù)，大幅提升了計算效率。在MJHQ-30K數(shù)據(jù)集上，HART的重構(gòu)FID從2.11降低至0.30，生成FID從7.85降至5.38，提升幅度達到31%。在吞吐量方面，相較于現(xiàn)有的擴散模型，HART提高了4.5-7.7倍，同時降低了6.9-13.4倍的MAC。

HART的主要功能

• 高分辨率圖像生成：能夠直接生成1024×1024像素的高分辨率圖像，滿足高質(zhì)量視覺內(nèi)容的需求。
• 圖像質(zhì)量提升：基于混合Tokenizer技術(shù)，HART在圖像重建與生成質(zhì)量上優(yōu)于傳統(tǒng)自回歸模型，能夠與擴散模型一較高下。
• 計算效率優(yōu)化：在保證高圖像質(zhì)量的前提下，顯著提高計算效率，降低訓(xùn)練成本與推理延遲。
• 自回歸建模：通過自回歸方法逐步生成圖像，允許對生成過程進行更精細的控制。

HART的技術(shù)原理

• 混合Tokenizer：HART的核心技術(shù)在于混合Tokenizer，它將自動編碼器的潛在表示分解為離散和連續(xù)token，前者用于捕捉圖像主要結(jié)構(gòu)，后者用于細節(jié)處理。
• 離散自回歸模型：離散部分通過可擴展分辨率的自回歸模型進行建模，支持在不同分辨率下生成圖像。
• 輕量級殘差擴散模塊：連續(xù)部分由一個輕量級的殘差擴散模塊構(gòu)成，該模塊僅有3700萬參數(shù)，極大地提高了模型效率。
• 效率與性能平衡：HART在FID和CLIP分數(shù)上優(yōu)于現(xiàn)有擴散模型，在吞吐量上提高了4.5-7.7倍，同時MAC降低了6.9-13.4倍，實現(xiàn)了效率與性能的良好平衡。
• 自回歸生成：HART采用自回歸方法逐步生成圖像，每一步都基于前一步的輸出，從而支持逐步細化圖像細節(jié)。

HART的項目地址

• 項目官網(wǎng)：hanlab.mit.edu/projects/hart
• GitHub倉庫：https://github.com/mit-han-lab/hart
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.10812
• 在線體驗Demo：https://hart.mit.edu/

HART的應(yīng)用場景

• 數(shù)字藝術(shù)創(chuàng)作：為藝術(shù)家和設(shè)計師提供生成高質(zhì)量數(shù)字藝術(shù)作品的能力，包括插圖、概念藝術(shù)和視覺特效。
• 游戲開發(fā)：在游戲設(shè)計中生成角色、環(huán)境和道具的高分辨率圖像。
• 電影和視頻制作：生成電影海報、概念藝術(shù)，或作為視頻內(nèi)容的背景和特效。
• 廣告和營銷：為營銷團隊快速生成吸引人的廣告圖像及營銷材料。
• 社交媒體內(nèi)容：用戶可為社交媒體平臺生成個性化的圖像和視覺內(nèi)容。

常見問題

• HART的生成速度如何？：HART在計算效率上表現(xiàn)優(yōu)越，能夠顯著提升圖像生成速度。
• 我如何使用HART？：用戶可以通過項目官網(wǎng)的在線體驗Demo進行試用，或在GitHub上獲取相關(guān)代碼和資源。
• HART適用于哪些領(lǐng)域？：HART廣泛適用于數(shù)字藝術(shù)、游戲開發(fā)、視頻制作、廣告營銷以及社交媒體等多個領(lǐng)域。
• HART的圖像質(zhì)量如何？：HART生成的圖像質(zhì)量高，能夠與當(dāng)前最先進的擴散模型相媲美。