OmniSVG – 復(fù)旦聯(lián)合 StepFun 推出端到端多模態(tài)矢量圖形生成模型

OmniSVG是復(fù)旦大學(xué)與StepFun聯(lián)合推出的全球首個(gè)端到端多模態(tài)SVG（可縮放矢量圖形）生成模型。依托于預(yù)訓(xùn)練的視覺語(yǔ)言模型（VLM），OmniSVG通過(guò)其獨(dú)特的SVG標(biāo)記化技術(shù)，將SVG指令與坐標(biāo)巧妙地轉(zhuǎn)化為離散令牌，從而實(shí)現(xiàn)結(jié)構(gòu)邏輯與幾何細(xì)節(jié)的有效分離。這一創(chuàng)新使得OmniSVG能夠高效生成從簡(jiǎn)單圖標(biāo)到復(fù)雜動(dòng)漫角色等多樣化的高質(zhì)量SVG圖形。

OmniSVG是什么

OmniSVG是由復(fù)旦大學(xué)與StepFun合作開發(fā)的全球首個(gè)端到端多模態(tài)SVG生成模型。該模型基于先進(jìn)的預(yù)訓(xùn)練視覺語(yǔ)言模型（VLM），采用創(chuàng)新性的SVG標(biāo)記化方法，將SVG命令和坐標(biāo)轉(zhuǎn)化為離散令牌，有效解耦了結(jié)構(gòu)邏輯與幾何細(xì)節(jié)。這使得OmniSVG能夠高效地生成各種SVG圖形，從簡(jiǎn)單的圖標(biāo)到復(fù)雜的動(dòng)漫角色，具有廣泛的應(yīng)用潛力。

主要功能

• 多模態(tài)生成：OmniSVG是首個(gè)能夠根據(jù)文本描述、圖像參考或角色參考生成高質(zhì)量SVG圖形的端到端多模態(tài)生成模型，能夠創(chuàng)造出豐富多樣的圖形。
• 高效生成與訓(xùn)練：基于預(yù)訓(xùn)練的視覺語(yǔ)言模型Qwen-VL，OmniSVG采用獨(dú)特的SVG標(biāo)記化方法，將SVG命令與坐標(biāo)參數(shù)化為離散令牌，訓(xùn)練效率比傳統(tǒng)方法提升了超過(guò)3倍，支持處理多達(dá)30,000個(gè)令牌的序列，能夠生成細(xì)節(jié)豐富的復(fù)雜SVG圖像。
• 數(shù)據(jù)集與評(píng)估：OmniSVG團(tuán)隊(duì)推出了MMSVG-2M數(shù)據(jù)集，涵蓋200萬(wàn)個(gè)帶多模態(tài)標(biāo)注的SVG資源，分為圖標(biāo)、插圖和角色三大類別。同時(shí)，他們提出了標(biāo)準(zhǔn)化的評(píng)估協(xié)議MMSVG-Bench，用于測(cè)試條件SVG生成任務(wù)的性能。
• 可編輯性與實(shí)用性：生成的SVG文件具備無(wú)限縮放性和完全可編輯性，能夠無(wú)縫融入Adobe Illustrator等專業(yè)設(shè)計(jì)工具的工作流程中，提升了AI生成圖形在圖形設(shè)計(jì)和網(wǎng)頁(yè)開發(fā)領(lǐng)域的實(shí)際應(yīng)用價(jià)值。

技術(shù)原理

• 基于預(yù)訓(xùn)練視覺語(yǔ)言模型（VLM）：OmniSVG構(gòu)建于預(yù)訓(xùn)練的視覺語(yǔ)言模型Qwen-VL之上，深度融合圖像與文本信息，為多模態(tài)生成奠定了堅(jiān)實(shí)基礎(chǔ)。
• SVG標(biāo)記化方法：OmniSVG創(chuàng)新性地將SVG命令和坐標(biāo)參數(shù)化為離散令牌，以類似自然語(yǔ)言處理的方式處理SVG生成，提升了訓(xùn)練效率，同時(shí)保持了生成復(fù)雜SVG結(jié)構(gòu)的能力。
• 端到端多模態(tài)生成框架：OmniSVG支持多種輸入方式（如文本描述、圖像參考或角色參考）直接生成SVG圖形，這種端到端的生成框架能夠創(chuàng)造出色彩豐富、細(xì)節(jié)生動(dòng)的矢量圖形，克服了傳統(tǒng)生成方法的限制。
• 高效訓(xùn)練與長(zhǎng)序列處理：OmniSVG的訓(xùn)練速度比傳統(tǒng)方法提升了3倍以上，且能夠處理長(zhǎng)達(dá)30,000個(gè)令牌的序列，能夠生成包含豐富細(xì)節(jié)的復(fù)雜SVG圖形。

項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://omnisvg.github.io/
• Github倉(cāng)庫(kù)：https://github.com/OmniSVG
• HuggingFace模型庫(kù)：https://huggingface.co/OmniSVG
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.06263

應(yīng)用場(chǎng)景

• 品牌圖標(biāo)設(shè)計(jì)：OmniSVG能夠根據(jù)文本描述迅速生成品牌圖標(biāo)，設(shè)計(jì)師無(wú)需從零開始繪制，顯著縮短了手動(dòng)設(shè)計(jì)的時(shí)間。
• 網(wǎng)頁(yè)開發(fā)：圖標(biāo)是網(wǎng)頁(yè)開發(fā)中不可或缺的元素。OmniSVG可以根據(jù)文本描述或圖像參考生成可無(wú)損縮放的矢量圖標(biāo)，適應(yīng)從移動(dòng)設(shè)備到4K顯示器的各種分辨率。
• 角色與場(chǎng)景設(shè)計(jì)：在游戲開發(fā)中，OmniSVG可用于生成游戲角色、場(chǎng)景等圖形素材，為游戲增添獨(dú)特的藝術(shù)風(fēng)格。
• 動(dòng)態(tài)角色生成：基于角色參考，OmniSVG能夠生成保持相同角色特征但姿勢(shì)或場(chǎng)景不同的矢量圖形。
• 快速原型設(shè)計(jì)：內(nèi)容創(chuàng)作者可以利用OmniSVG快速生成圖標(biāo)、插圖或角形的原型，加速創(chuàng)作流程。

常見問(wèn)題

• OmniSVG支持哪些輸入形式？：OmniSVG支持文本描述、圖像參考和角色參考等多種輸入形式。
• 生成的SVG文件可以編輯嗎？：是的，生成的SVG文件具備完全可編輯性，可以在專業(yè)設(shè)計(jì)工具中進(jìn)行修改。
• OmniSVG的訓(xùn)練效率如何？：與傳統(tǒng)方法相比，OmniSVG的訓(xùn)練效率提高了3倍以上，能夠處理長(zhǎng)達(dá)30,000個(gè)令牌的序列。