Inpaint Anything官網(wǎng)

Inpaint Anything，sd一鍵實現(xiàn)物體移除，內(nèi)容填補，場景替換，Stable Diffusion插件
網(wǎng)站服務(wù)：Inpaint Anything，別摸魚導(dǎo)航。

Inpaint Anything官網(wǎng)，sd一鍵實現(xiàn)物體移除，內(nèi)容填補，場景替換，Stable Diffusion插件

Inpaint Anything簡介

Inpaint Anything是一個結(jié)合了SAMQ、圖像修補模型（例如 LaMa)和 AIGC 模型（例如 Stable Diffusion)等視覺基礎(chǔ)模型的AI圖像替換，修補系統(tǒng)。基于此系統(tǒng)，用戶可以方便的使用IA進行圖像替換，處理具有任意長寬比和2K高清分辨率的圖像，且不受圖像原始內(nèi)容限制，并且使用方便。
Inpaint Anything官網(wǎng): https://github.com/Uminosachi/sd-webui-inpaint-anything

Inpaint Anything核心思想
Inpaint Anything背后的核心思想是結(jié)合不同模型的優(yōu)勢，以建立一個功能強大且用戶友好的 圖像修復(fù)Q 系統(tǒng)。
一、Inpaint Anything:一鍵實現(xiàn)物體移除、內(nèi)容填補、場景替換
IMCL實驗室基于Meta發(fā)布的圖像分割基礎(chǔ)模型SAM (Segment Anything Model)，提出了修補一切模型(Inpaint Anything，簡稱IA) ，
具有功能：
1.移除一切（Remove Anything）：點擊一下想要移除的物體，IA 將無痕地移除該物體；
2.填補一切(Fill Anything) :可以進一步通過文本提示告訴IA想要在物體內(nèi)填充什么， IA隨即通過驅(qū)動已嵌入的stable diffusion模型生成相應(yīng)的內(nèi)容填充物體，實現(xiàn)隨心「內(nèi)容創(chuàng)作」;
3替換一切(Replace Anything) :可以通過點擊選擇需要保留的物體對象，并用文本提示告訴IA想要把物體的背景替換成什么，即可將物體背景替換為指定內(nèi)容，實現(xiàn)生動「環(huán)境轉(zhuǎn)換」。
整體框架：

Inpaint Anything主要功能

Inpaint Anything擁有三個主要功能
1、移除一切(Remove Anything) ：用戶只需點擊一下想要移除的物體，IA 將無痕地移除該物體，實現(xiàn)高效「魔法消除」;
2、填補一切(Fill Anything) ：同時，用戶還可以進一步通過文本提示（Text Prompt)告訴 IA 想要在物體內(nèi)填充什么， IA 隨即通過驅(qū)動 已嵌入的 AIGC (Al-Generated Content)模型（如 Stable Diffusion)生成相應(yīng)的內(nèi)容填充物體，實現(xiàn)隨心「內(nèi)容創(chuàng)作」;
3、替換一切(Replace Anything) :用戶也可以通過點擊選擇需要保留的物體對象，并用文本提示告訴IA想要把物體的背景替換成什么，即可將物體背景替換為指定內(nèi)容，實現(xiàn)生動「環(huán)境轉(zhuǎn)換」。
4、移除3D材質(zhì)物品(Remove Anything 3D)

修復(fù)任何內(nèi)容以實現(xiàn)穩(wěn)定的擴散 Web UI
Inpaint Anything 擴展使用從Segment Anything的輸出中選擇的任何蒙版在瀏覽器 UI 上執(zhí)行穩(wěn)定的擴散修復(fù)。
使用 Segment Anything，用戶可以通過簡單地指向所需區(qū)域來指定蒙版，而不是手動填充它們。這可以提高蒙版創(chuàng)建過程的效率和準確性，從而可能獲得更高質(zhì)量的修復(fù)結(jié)果，同時節(jié)省時間和精力。

Inpaint Anything工作原理

Inpaint Anything結(jié)合了 SAM、圖像修補模型（例如 LaMa）和 AIGC 模型（例如 Stable Diffusion）等視覺基礎(chǔ)模型。

• SAM（Segment Anything Model）可以通過點或框等輸入提示生成高質(zhì)量的對象分割區(qū)域，實現(xiàn)指定目標的分割。更多相關(guān)的介紹可以參考一鍵分割圖像。
• 圖像修補模型LaMa，則能夠在高分辨率圖像的情況下，隨意刪除圖像中的各種元素。模型的主要架構(gòu)如下圖所示。包含一個mask的黑白圖，一張原始圖像。將掩碼圖覆蓋圖像后輸入Inpainting網(wǎng)絡(luò)中，先是降采樣到低分辨率，再經(jīng)過幾個快速傅里葉卷積FFC殘差塊，最后輸出上采樣，生成了一張高分辨的修復(fù)圖像。

• AIGC模型Stable Diffusion，則只要簡單的輸入一段文本，Stable Diffusion 就可以迅速將其轉(zhuǎn)換為圖像。更多相關(guān)的介紹可以參考AI作畫。

將三個模型結(jié)合到一起，我們可以做出很多的功能。本文就實現(xiàn)了在圖片/視頻中移除一切物體、在圖片中填充一切物體和在圖片中替換一切背景這三種功能，其具體實現(xiàn)步驟如下：

單機版

安裝

要安裝該軟件，請按照下列步驟操作：

• 打開ExtensionsAUTOMATIC1111 的穩(wěn)定擴散 Web UI上的選項卡。
• 選擇該Install from URL選項。
• https://github.com/Uminosachi/sd-webui-inpaint-anything.git在字段中輸入URL for extension's git repository。
• 單擊按鈕Install。
• 安裝完成后，重新啟動 Web UI。
• 注意：此擴展支持 AUTOMATIC1111 的穩(wěn)定擴散 Web UI v1.3.0 或更高版本。

運行應(yīng)用程序

• 如果您打算使用內(nèi)存高效的 xformers，請將參數(shù)附加--xformers到您的啟動命令中。例如，運行./webui.sh --xformers或webui.bat --xformers
• 注意：如果您在網(wǎng)絡(luò)瀏覽器中啟用了隱私保護擴展程序（例如 DuckDuckGo），您可能無法從草圖中檢索蒙版。
• 注意：在 Gradio 版本 3.23.0 或更早版本中，分割圖像在 Web UI 上可能會顯得很小。

下載模型

• 導(dǎo)航到Inpaint AnythingWeb UI 中的選項卡。
• 單擊“Segment Anything Model ID”Download model旁邊的按鈕。這包括Segment Anything in High Quality Model ID、Fast Segment Anything和Faster Segment Anything (MobileSAM)。
  • 請注意，SAM 提供三種尺寸：基本型、大型型和巨型型。請記住，較大的尺寸會消耗更多的 VRAM。
• 等待下載完成。
• 下載的模型文件將存儲在models該應(yīng)用程序存儲庫的目錄中。

用法

• 將圖像拖放到輸入圖像區(qū)域。
  • 可以通過Padding options配置比例和平衡，然后單擊Run Padding按鈕來實現(xiàn)繪制。
  • 該Anime Style復(fù)選框增強了分割蒙版檢測，特別是在動漫風(fēng)格的圖像中，但代價是蒙版質(zhì)量略有下降。
• 單擊按鈕Run Segment Anything。
• 使用草圖來指出要修復(fù)的區(qū)域。您可以撤消和調(diào)整筆大小。
  • 將鼠標懸停在 SAM 圖像或遮罩圖像上，然后按S全屏模式鍵或R重置縮放鍵。
• 單擊按鈕Create mask。蒙版將出現(xiàn)在選定的蒙版圖像區(qū)域中。

面罩調(diào)整

• Expand mask region按鈕：使用此按鈕可以稍微擴大遮罩的區(qū)域以獲得更廣泛的覆蓋范圍。
• Trim mask by sketch按鈕：單擊此按鈕將從蒙版中排除草繪區(qū)域。
• Add mask by sketch按鈕：單擊此按鈕會將草繪區(qū)域添加到蒙版中。

修復(fù)選項卡

• 輸入所需的提示和否定提示，然后選擇修復(fù)模型 ID。
• 單擊按鈕Run Inpainting（請注意，第一次下載模型可能需要一些時間）。
  • 在“高級”選項中，您可以調(diào)整采樣器、采樣步驟、指導(dǎo)比例和種子。
  • 如果啟用該Mask area Only選項，修改將僅限于指定的遮罩區(qū)域。
• 調(diào)整迭代滑塊以使用不同的種子多次執(zhí)行修復(fù)。
• 修復(fù)過程由擴散器提供動力。

尖端

• 您可以直接將修復(fù)后的圖像拖放到 Web UI 上的輸入圖像字段中。（適用于 Chrome 和 Edge 瀏覽器）
• 要加載保存在 PNG 文件中的提示，請按照下列步驟操作：
  • 將圖像拖放到 Web UI 上的“PNG 信息”選項卡中，然后單擊Send to txt2img (or img2img)。
  • 導(dǎo)航至“修復(fù)任何內(nèi)容”選項卡中的“修復(fù)”部分，然后單擊 按鈕Get prompt from: txt2img (or img2img)。

模型緩存

• 修復(fù)模型保存在 HuggingFace 的緩存中，并inpaint在其 repo_id 中包含（不區(qū)分大小寫），也將添加到修復(fù)模型 ID 下拉列表中。
  • 如果您想使用特定模型，可以使用以下 Python 命令（對于 Linux 和 MacOS 為 venv/bin/python）提前緩存它：

venv\Scripts\python.exe

Inpaint Anything網(wǎng)址入口

https://github.com/Uminosachi/sd-webui-inpaint-anything

OpenI小編發(fā)現(xiàn)Inpaint Anything網(wǎng)站非常受用戶歡迎，請訪問Inpaint Anything網(wǎng)址入口試用。