AnchorCrafter官網(wǎng)

一個(gè)由計(jì)算所、美團(tuán)、騰訊等機(jī)構(gòu)合作研發(fā)，專為電商場景設(shè)計(jì)，能夠自動(dòng)生成具有主播風(fēng)格的AI虛擬主播帶貨視頻神器。

網(wǎng)站提供：Ai工具箱，Ai開源項(xiàng)目，AnchorCrafter，AI虛擬主播，Crafter，Anchor。

AnchorCrafter簡介

AnchorCrafter是由中國科學(xué)院和騰訊聯(lián)手打造的一款ai虛擬主播帶貨神器，它利用先進(jìn)的AI技術(shù)，能夠生成自然流暢的帶貨視頻，極大地提升了電商視頻制作的質(zhì)量和效率。

AnchorCrafter是什么？

AnchorCrafter是一種基于擴(kuò)散的系統(tǒng)，通過將人類與物體的交互（Human-Object Interaction， HOI）融入到姿態(tài)引導(dǎo)的人類視頻生成中，自動(dòng)創(chuàng)建具有高保真度的錨式產(chǎn)品推廣視頻。

AnchorCrafter技術(shù)亮點(diǎn)：

• 人-物交互建模：AnchorCrafter不僅驅(qū)動(dòng)虛擬模特展示商品，還能精確捕捉和控制人與商品之間的交互細(xì)節(jié)，如手部與商品的接觸，從而生成更加自然和真實(shí)的視頻內(nèi)容。

• 高質(zhì)量視覺效果：系統(tǒng)通過HOI-appearance perception技術(shù)，融合多視角商品圖像特征，確保商品在視頻中的外觀細(xì)節(jié)得以精準(zhǔn)呈現(xiàn)，同時(shí)利用解耦網(wǎng)絡(luò)結(jié)構(gòu)來區(qū)分和優(yōu)化人與物的外觀，提升視覺保真度。

• 訓(xùn)練數(shù)據(jù)高效利用：盡管訓(xùn)練數(shù)據(jù)集相對較?。?4個(gè)網(wǎng)絡(luò)視頻和307個(gè)自采視頻），AnchorCrafter通過高效的訓(xùn)練策略，能夠在有限的資源下（如4卡A100 GPU，4萬個(gè)訓(xùn)練步，每幀6幀長度）產(chǎn)出令人滿意的效果，體現(xiàn)了其算法的高效性和魯棒性。

• HOI-region重加權(quán)損失：為了強(qiáng)化模型對手-物交互的學(xué)習(xí)，系統(tǒng)采用了特定的損失函數(shù)，對手和物體區(qū)域的損失進(jìn)行權(quán)重增強(qiáng)，確保交互部分的準(zhǔn)確性和自然度。

AnchorCrafter的技術(shù)原理

• 視頻擴(kuò)散模型：使用擴(kuò)散Unet和變分自編碼器（VAE）來處理視頻幀，通過將視頻序列編碼為潛在空間來生成高質(zhì)量的輸出。

• HOI-外觀感知：通過提取人類和物體的外觀特征，并將其整合到主干網(wǎng)絡(luò)中來實(shí)現(xiàn)外觀控制，使用多視角物體參考圖像來增強(qiáng)物體外觀的識別能力。

• HOI-注入：通過注入人類序列來控制物體，并解決物體軌跡條件和遮擋管理的問題，利用深度圖作為輸入，保持 的清晰性和一致性。

• HOI區(qū)域重加權(quán)損失：通過對交互區(qū)域施加更高的訓(xùn)練權(quán)重，增強(qiáng)模型對物體細(xì)節(jié)的學(xué)習(xí)，提高最終生成視頻的質(zhì)量和真實(shí)性。

AnchorCrafter的主要用途

• 電商視頻制作：AnchorCrafter能夠根據(jù)用戶提供的角片和要推廣的產(chǎn)品，生成自然流暢的帶貨視頻，幫助電商企業(yè)輕松制作出高質(zhì)量的營銷視頻。

• 產(chǎn)品推廣：通過將人物與產(chǎn)品融合，制作出具有吸引力的產(chǎn)品推廣視頻，提升產(chǎn)品的市場競爭力。

AnchorCrafter的優(yōu)勢

• 畫面質(zhì)量和動(dòng)作自然度：AnchorCrafter生成的虛擬主播帶貨視頻在畫面質(zhì)量和動(dòng)作自然度上達(dá)到了業(yè)界領(lǐng)先水平，甚至可以與真人主播相媲美。

• 高效性：用戶只需提供簡單的圖片和商品信息，即可快速生成高質(zhì)量的帶貨視頻，大大節(jié)省了時(shí)間和成本。

AnchorCrafter特別適合電商平臺(tái)，能夠快速生成帶貨視頻，增強(qiáng)產(chǎn)品展示的吸引力，提高銷售潛力，同時(shí)減少對真人主播的依賴，降作成本。

AnchorCrafter官網(wǎng)入口網(wǎng)址

https://cangcz.github.io/Anchor-Crafter/

OpenI小編發(fā)現(xiàn)AnchorCrafter網(wǎng)站非常受用戶歡迎，請?jiān)L問AnchorCrafter網(wǎng)址入口試用。