Glyph-ByT5是一款由微軟亞洲研究院、清華大學(xué)、北京大學(xué)和利物浦大學(xué)共同開(kāi)發(fā)的多語(yǔ)言視覺(jué)文本渲染工具。該項(xiàng)目的最新版本Glyph-ByT5-v2具備支持十種不同語(yǔ)言的精確視覺(jué)文本渲染能力，并在審美質(zhì)量上實(shí)現(xiàn)了顯著提升。通過(guò)構(gòu)建一個(gè)包含超過(guò)100萬(wàn)對(duì)字形-文本對(duì)及1000萬(wàn)對(duì)平面設(shè)計(jì)圖像-文本對(duì)的高質(zhì)量多語(yǔ)言數(shù)據(jù)集，并應(yīng)用最新的步驟感知偏好學(xué)習(xí)（SPO）方法，Glyph-ByT5-v2極大地增強(qiáng)了視覺(jué)文本的拼寫準(zhǔn)確性和視覺(jué)吸引力。

Glyph-ByT5的主要功能

• 多語(yǔ)言支持：具備準(zhǔn)確渲染十種不同語(yǔ)言的視覺(jué)文本能力。
• 高質(zhì)量數(shù)據(jù)集：開(kāi)發(fā)了一個(gè)包含超過(guò)100萬(wàn)對(duì)字形-文本對(duì)和千萬(wàn)級(jí)平面設(shè)計(jì)圖像-文本對(duì)的豐富數(shù)據(jù)集。
• 審美品質(zhì)提升：利用步驟感知偏好學(xué)習(xí)（SPO）技術(shù)，增強(qiáng)視覺(jué)文本的審美效果。
• 視覺(jué)拼寫準(zhǔn)確性：建立了多語(yǔ)言視覺(jué)段落基準(zhǔn)，評(píng)估并提升視覺(jué)拼寫的準(zhǔn)確性。
• 用戶研究驗(yàn)證：通過(guò)用戶研究，驗(yàn)證多語(yǔ)言視覺(jué)文本渲染的準(zhǔn)確性、布局質(zhì)量和審美質(zhì)量。

Glyph-ByT5的技術(shù)原理

• 多語(yǔ)言數(shù)據(jù)集：構(gòu)建了一個(gè)龐大的多語(yǔ)言數(shù)據(jù)集，包含超過(guò)100萬(wàn)對(duì)字形-文本對(duì)和1000萬(wàn)對(duì)平面設(shè)計(jì)圖像-文本對(duì)，為模型提供了豐富的訓(xùn)練素材。
• 定制文本編碼器：開(kāi)發(fā)了一個(gè)專門為多語(yǔ)言設(shè)計(jì)的文本編碼器，能夠準(zhǔn)確將文本轉(zhuǎn)化為視覺(jué)格式，確保不同語(yǔ)言的文本得到正確渲染。
• 步驟感知偏好學(xué)習(xí)（SPO）：支持模型在訓(xùn)練中逐步學(xué)習(xí)用戶的偏好，從而優(yōu)化生成的視覺(jué)文本的審美質(zhì)量。
• 多語(yǔ)言視覺(jué)段落基準(zhǔn)：創(chuàng)建了一個(gè)包含1000個(gè)多語(yǔ)言視覺(jué)拼寫提示的基準(zhǔn)測(cè)試，用于評(píng)估模型在不同語(yǔ)言下的視覺(jué)拼寫準(zhǔn)確性。
• 審美質(zhì)量評(píng)估：通過(guò)用戶研究和可視化結(jié)果，評(píng)估模型生成的視覺(jué)文本的審美質(zhì)量，確保生成的文本不僅準(zhǔn)確且視覺(jué)上吸引人。

Glyph-ByT5的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://glyph-byt5-v2.github.io/
• GitHub倉(cāng)庫(kù)：https://github.com/AIGText/Glyph-ByT5
• arXiv技術(shù)論文：https://arxiv.org/pdf/2406.10208

Glyph-ByT5的應(yīng)用場(chǎng)景

• 平面設(shè)計(jì)：適用于創(chuàng)建海報(bào)、宣傳冊(cè)、名片、標(biāo)志等圖形設(shè)計(jì)元素，滿足高質(zhì)量文本渲染的需求。
• 廣告制作：在廣告行業(yè)中，設(shè)計(jì)引人注目的廣告圖像，融合多種語(yǔ)言的文本。
• 數(shù)字藝術(shù)：藝術(shù)家和設(shè)計(jì)師可以利用Glyph-ByT5-v2創(chuàng)作獨(dú)具視覺(jué)風(fēng)格的數(shù)字藝術(shù)作品。
• 出版行業(yè)：用于書(shū)籍、雜志等出版物的封面和內(nèi)頁(yè)設(shè)計(jì)，提升文本的視覺(jué)吸引力。
• 品牌和標(biāo)識(shí)設(shè)計(jì)：協(xié)助企業(yè)設(shè)計(jì)具備國(guó)際吸引力的品牌標(biāo)識(shí)和logo。