MT-Color

MT-Color – 上海交大聯合嗶哩嗶哩推出的可控圖像著色框架

MT-Color是什么

MT-Color是由上海交通大學與嗶哩嗶哩合作開發的一種基于擴散模型的可控圖像著色框架。該技術通過用戶提供的實例感知文本和掩碼，以實現精準的實例級圖像著色。MT-Color采用像素級掩碼注意力機制來有效防止色彩溢出，同時利用實例掩碼和文本引導模塊解決色彩綁定錯誤的問題，并通過多實例采樣策略來增強實例感知效果。該框架還構建了GPT-Color數據集，提供高質量的實例級注釋，支持更為細致的圖像著色任務。MT-Color在色彩準確性和視覺效果上超越了現有的技術，使生成的圖像更符合人類的視覺感知。

MT-Color的主要功能

• 精準的實例級著色：根據用戶提供的實例掩碼和文本描述，針對圖像中的不同對象進行精確著色，確保每個對象的顏色與其描述相符。
• 有效防止色彩溢出：通過像素級掩碼注意力機制，有效避免色彩在不同對象之間的錯誤擴散，從而保持顏色的邊界清晰。
• 高質量的色彩生成：生成的彩像色彩豐富自然，分辨率達到512×512，細節更為清晰。
• 靈活的用戶控制：用戶可以通過文本描述和掩碼，對圖像的著色過程進行精細調控，以滿足不同的著色需求。
• 數據集支持：構建專門的GPT-Color數據集，提供高質量的實例級注釋，以支持更精細的圖像著色任務。

MT-Color的技術原理

• 像素級掩碼注意力機制：將ControlNet提取的灰度圖像特征與Stable Diffusion的潛在特征通過像素級交叉注意力機制進行對齊，有效防止不同實例間的像素信息交互，從而緩解色彩溢出問題。利用分割掩碼構建交叉注意力掩碼，確保不同實例間的像素信息不相互干擾。
• 實例掩碼和文本引導模塊：提取每個實例的掩碼與文本表示，并通過自注意力機制與潛在特征融合，形成自注意力掩碼，避免實例文本對其他區域的引導，減少色彩綁定錯誤。
• 多實例采樣策略：在采樣過程中，對每個實例區域分別進行采樣并融合結果，進一步增強實例感知的著色效果。
• GPT-Color數據集：基于預訓練的視覺語言模型（如GPT-4和BLIP-2），在現有圖像數據集上自動生成高質量的實例級注釋，包括細致的文本描述和相應的分割掩碼，為模型訓練提供豐富的訓練數據。

MT-Color的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2505.08705

MT-Color的應用場景

• 歷史照片修復：為黑白歷史照片增添生動的色彩，提升其觀賞性和歷史感。
• 影視后期制作：修復和增強黑白或低質量彩色鏡頭，提升視覺效果。
• 藝術創作：協助藝術家為黑白草圖或插畫添加色彩，激發創意。
• 醫學圖像處理：為醫學圖像增添色彩，以提高其診斷價值。
• 教育領域：為教學材料中的黑白圖像增添色彩，增強學習體驗。

常見問題

• MT-Color支持哪些格式的輸入？：MT-Color支持用戶上傳的圖像和相應的文本描述以及掩碼。
• 如何使用MT-Color進行圖像著色？：用戶只需提供所需圖像的掩碼和描述，系統會自動生成著色結果。
• 生成的圖像質量如何？：MT-Color生成的圖像色彩豐富且自然，且分辨率高，能夠清晰呈現細節。
• 適合哪些行業使用？：MT-Color適用于歷史修復、影視制作、藝術創作、醫學圖像處理及教育等多個領域。