Poetry2Image

Poetry2Image – 專為中文古詩詞圖像生成設計的迭代校正框架

Poetry2Image是什么

Poetry2Image是哈爾濱工業大學研發的一種創新性框架，旨在為中文古詩詞的圖像生成提供迭代校正的解決方案。該框架通過自動化的反饋與校正循環，增進了詩歌與圖像之間的協調性，能夠有效捕捉到詩詞的深層語義和藝術魅力。Poetry2Image成功解決了文本到圖像生成模型在處理中文古典詩歌時常見的關鍵元素缺失與語義混淆的問題。與五種流行的圖像生成模型結合使用時，系統實現了平均70.63%的元素完整性和80.09%的語義一致性。

Poetry2Image的主要功能

• 自動化反饋與校正：通過外部詩歌數據集，Poetry2Image建立了自動化的反饋與校正機制，顯著提高了詩歌與圖像的對齊度，提升生成圖像的質量與準確性。
• 減少人工干預：該框架降低了傳統方法中需要的人工干預和專業知識要求，使得圖像生成過程更加高效便捷。
• 提升效率與質量：相對于傳統微調方法，Poetry2Image在保持圖像質量的同時，大幅度降低了訓練所需的時間和成本。
• 搜索與翻譯功能：系統能夠在詩歌數據庫中檢索用戶提供的古詩，找到其現代漢語翻譯及相關賞析。
• 生成初步圖像：依據詩歌的現代漢語翻譯，系統會生成一幅初步的圖像。
• 提取關鍵元素：系統運用大型語言模型識別并提取詩歌中的關鍵元素。
• 圖像修正：系統會檢查生成的圖像是否包含所有關鍵元素，并在必要時給出修改建議，例如添加缺失元素或調整元素位置。
• 迭代優化：若圖像中的元素不完整或不準確，系統將根據建議重新生成圖像，此過程會不斷重復，直至圖像能準確反映詩歌的意境。

Poetry2Image的技術原理

• 圖像元素識別與校正：基于開放詞匯檢測器（OVD）識別圖像中的元素信息，并通過大型語言模型（LLM）提供修改建議，指導圖像編輯模型對初始圖像進行調整。
• 兼容性與訓練成本：Poetry2Image對用于初始圖像生成的文本到圖像生成模型沒有限制，且迭代校正操作消除了額外的訓練成本，同時自動化的圖像生成與反饋過程大幅減少了手動標注的需求。

Poetry2Image的項目地址

• Github倉庫：https://github.com/prajwalppv/Poetry2Image
• arXiv技術論文：https://arxiv.org/pdf/2407.06196v1

Poetry2Image的應用場景

• 古詩詞文化傳播：通過生成與古詩詞意境相契合的圖像，Poetry2Image有助于推動古詩詞文化的傳播，使傳統文化以更生動的形式被現代人理解與欣賞。
• 藝術創作輔助：為藝術家和設計師在創作過程中提供支持，快速生成與古詩詞相匹配的視覺元素，激發靈感與素材。
• 教育與學習：在教育領域，Poetry2Image可作為教學工具，幫助學生更深入地理解并記憶古詩詞，通過圖像與詩詞的結合，增強學習體驗。
• 圖像生成技術研究：Poetry2Image為研究人員提供了一個平臺，以探索和改進文本到圖像生成技術，特別是在處理具有豐富文化內涵和復雜語義的中文古詩詞時。