清華和騰訊共同推出的圖像序列著色模型

產品名稱：ColorFlow
產品簡介：ColorFlow是清華大學和騰訊ARC實驗室共同推出的圖像序列著色模型，能精細化地保持圖像序列中個體身份的同時進行著色。基于檢索增強、上下文學習和超分辨率技術，ColorFlow確保黑白圖像序列著色與參考圖像顏色一致性，適用于漫畫、動畫制作等工業應用。
詳細介紹：

ColorFlow是什么

ColorFlow是清華大學和騰訊ARC實驗室共同推出的圖像序列著色模型，能精細化地保持圖像序列中個體身份的同時進行著色。基于檢索增強、上下文學習和超分辨率技術，ColorFlow確保黑白圖像序列著色與參考圖像顏色一致性，適用于漫畫、動畫制作等工業應用。ColorFlow在圖像序列著色領域基于提升CLIP-IS、降低FID、增加PSNR和SSIM得分及提高AS，展現超越現有技術的卓越性能，為藝術行業提供新的著色標準。

ColorFlow的主要功能

• 檢索增強管道（Retrieval-Augmented Pipeline， RAP）：從參考圖像池中提取與輸入黑白圖像最相關的彩像塊，指導著色過程。
• 上下文著色管道（In-context Colorization Pipeline， ICP）：基于強大的上下文學習來準確檢索顏色身份，采用雙分支設計進行著色。
• 引導超分辨率管道（Guided Super-Resolution Pipeline， GSRP）：上采樣低分辨率的著色輸出，產生高分辨率的彩像，增強細節恢復并提高輸出質量。

ColorFlow的技術原理

• 檢索增強（Retrieval-Augmented）：基于預訓練的CLIP圖像編碼器生成輸入圖像和參考圖像的嵌入，計算余弦相似度識別最相似的參考圖像塊，用在后續的著色訓練。
• 上下文著色（In-context Colorization）：引入輔助分支“Colorization Guider”整合條件信息，基于U-Net擴散模型逐步整合特征，實現像素級的條件嵌入。用輕量級LoRA（Low-Rank Adaptation）方法對預訓練的擴散模型進行微調，保留其著色能力。
• 超分辨率增強（Super-Resolution）：處理著色過程中的下采樣問題，減少結構失真。將高分辨率黑白圖像與低分辨率彩色輸出結合，增強細節恢復，提升輸出質量。
• 自我注意力機制（Self-Attention）：在擴散模型中用自我注意力機制，將參考圖像和灰度圖像放在同一個畫布上，提取特征，逐層輸入到擴散模型中進行著色。
• 時間步采樣策略（Timestep Shifted Sampling）：調整采樣策略，強調在更高時間步長上的采樣，增強著色過程的效果。
• 屏幕風格增強（Screenstyle Augmentation）：對灰度圖像和ScreenVAE輸出進行隨機線性插值，增強輸入圖像的風格適應性，提升著色性能。

ColorFlow的項目地址

• 項目官網：zhuang2002.github.io/ColorFlow
• GitHub倉庫：https://github.com/TencentARC/ColorFlow
• HuggingFace模型庫：https://huggingface.co/TencentARC/ColorFlow
• arXiv技術論文：https://arxiv.org/pdf/2412.11815
• 在線體驗Demo：https://huggingface.co/spaces/TencentARC/ColorFlow

ColorFlow的應用場景

• 漫畫和卡通著色：將黑白漫畫或卡通圖像轉換為彩色版本，適合漫畫家和動畫制作者在創作過程中快速給線稿上色。
• 老照片修復：為歷史上的黑白照片提供顏色，幫助恢復舊時代的照片原貌，增加歷史圖片的觀賞價值。
• 電影和視頻后期制作：用在黑白電影的彩色化，或為現代電影制作提供特定的顏色分級效果。
• 藝術創作：藝術家為黑白藝術作品添加顏色，或在創作過程中探索不同的顏色方案。
• 教育和學習：在教育領域，作為工具幫助學生理解顏色對圖像的影響，及學習圖像處理和計算機視覺的基本概念。