MT-Color – 上海交大聯(lián)合嗶哩嗶哩推出的可控圖像著色框架

MT-Color是什么

MT-Color是由上海交通大學與嗶哩嗶哩合作開發(fā)的一種基于擴散模型的可控圖像著色框架。該技術通過用戶提供的實例感知文本和掩碼，以實現(xiàn)精準的實例級圖像著色。MT-Color采用像素級掩碼注意力機制來有效防止色彩溢出，同時利用實例掩碼和文本引導模塊解決色彩綁定錯誤的問題，并通過多實例采樣策略來增強實例感知效果。該框架還構建了GPT-Color數(shù)據(jù)集，提供高質量的實例級注釋，支持更為細致的圖像著色任務。MT-Color在色彩準確性和視覺效果上超越了現(xiàn)有的技術，使生成的圖像更符合人類的視覺感知。

MT-Color的主要功能

• 精準的實例級著色：根據(jù)用戶提供的實例掩碼和文本描述，針對圖像中的不同對象進行精確著色，確保每個對象的顏色與其描述相符。
• 有效防止色彩溢出：通過像素級掩碼注意力機制，有效避免色彩在不同對象之間的錯誤擴散，從而保持顏色的邊界清晰。
• 高質量的色彩生成：生成的彩像色彩豐富自然，分辨率達到512×512，細節(jié)更為清晰。
• 靈活的用戶控制：用戶可以通過文本描述和掩碼，對圖像的著色過程進行精細調控，以滿足不同的著色需求。
• 數(shù)據(jù)集支持：構建專門的GPT-Color數(shù)據(jù)集，提供高質量的實例級注釋，以支持更精細的圖像著色任務。

MT-Color的技術原理

• 像素級掩碼注意力機制：將ControlNet提取的灰度圖像特征與Stable Diffusion的潛在特征通過像素級交叉注意力機制進行對齊，有效防止不同實例間的像素信息交互，從而緩解色彩溢出問題。利用分割掩碼構建交叉注意力掩碼，確保不同實例間的像素信息不相互干擾。
• 實例掩碼和文本引導模塊：提取每個實例的掩碼與文本表示，并通過自注意力機制與潛在特征融合，形成自注意力掩碼，避免實例文本對其他區(qū)域的引導，減少色彩綁定錯誤。
• 多實例采樣策略：在采樣過程中，對每個實例區(qū)域分別進行采樣并融合結果，進一步增強實例感知的著色效果。
• GPT-Color數(shù)據(jù)集：基于預訓練的視覺語言模型（如GPT-4和BLIP-2），在現(xiàn)有圖像數(shù)據(jù)集上自動生成高質量的實例級注釋，包括細致的文本描述和相應的分割掩碼，為模型訓練提供豐富的訓練數(shù)據(jù)。

MT-Color的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2505.08705

MT-Color的應用場景

• 歷史照片修復：為黑白歷史照片增添生動的色彩，提升其觀賞性和歷史感。
• 影視后期制作：修復和增強黑白或低質量彩色鏡頭，提升視覺效果。
• 藝術創(chuàng)作：協(xié)助藝術家為黑白草圖或插畫添加色彩，激發(fā)創(chuàng)意。
• 醫(yī)學圖像處理：為醫(yī)學圖像增添色彩，以提高其診斷價值。
• 教育領域：為教學材料中的黑白圖像增添色彩，增強學習體驗。

常見問題

• MT-Color支持哪些格式的輸入？：MT-Color支持用戶上傳的圖像和相應的文本描述以及掩碼。
• 如何使用MT-Color進行圖像著色？：用戶只需提供所需圖像的掩碼和描述，系統(tǒng)會自動生成著色結果。
• 生成的圖像質量如何？：MT-Color生成的圖像色彩豐富且自然，且分辨率高，能夠清晰呈現(xiàn)細節(jié)。
• 適合哪些行業(yè)使用？：MT-Color適用于歷史修復、影視制作、藝術創(chuàng)作、醫(yī)學圖像處理及教育等多個領域。