罕見！蘋果開源圖片編輯神器MGIE，要上iPhone?

AIGC動態歡迎閱讀

原標題：罕見！蘋果開源圖片編輯神器MGIE，要上iPhone?
關鍵字：指令,編輯,視覺,模型,圖像
文章來源：機器之心
內容字數：6499字

內容摘要：

機器之心報道
編輯：蛋醬、陳萍拍張照片，輸入文字指令，手機就開始自動修圖？
這一神奇功能，來自蘋果剛剛開源的圖片編輯神器「MGIE」。把背景中的人移除在桌子上添加披薩最近一段時間，AI 在圖片編輯這一應用上取得了不小的進展。一方面，在 LLM 的基礎上，多模態大模型（MLLM）可以自然地將圖像視為輸入，并提供視覺感知響應。另一方面，基于指令的編輯技術可以不依賴于詳細描述或區域掩碼，而是允許人類下達指令，直接表達如何編輯以及編輯圖像的哪個方面。這種方法極具實用性，因為這種引導更符合人類的直覺。
基于上述技術的啟發，蘋果提出了 MGIE（MLLM-Guided Image Editing），將 MLLM 用于解決指令引導不足的問題。論文標題：Guiding Instruction-based Image Editing via Multimodal Large Language Models
論文鏈接：https://openreview.net/pdf?id=S1RKWSyZ2Y
項目主頁：https://mllm-ie.github.io/
如圖 2 所示，MGIE 由 MLLM 和擴

原文鏈接：罕見！蘋果開源圖片編輯神器MGIE，要上iPhone?

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺