LivePortrait是什么

LivePortrait是快手推出的一款開(kāi)源人像動(dòng)畫(huà)生成框架，旨在高效且靈活地將驅(qū)動(dòng)視頻中的表情和姿態(tài)轉(zhuǎn)移至靜態(tài)或動(dòng)態(tài)人像，從而創(chuàng)造出極具表現(xiàn)力的視頻內(nèi)容。該技術(shù)依托隱式關(guān)鍵點(diǎn)框架，結(jié)合大規(guī)模高質(zhì)量訓(xùn)練數(shù)據(jù)及混合訓(xùn)練策略，顯著提升了模型的泛化能力與動(dòng)作控制精度。在RTX 4090 GPU上，LivePortrait的單幀生成速度高達(dá)12.8毫秒，顯示出卓越的處理效率，并且仍具備進(jìn)一步的優(yōu)化空間。開(kāi)源社區(qū)對(duì)這一項(xiàng)目反響熱烈，LivePortrait的GitHub頁(yè)面提供了豐富的使用指南和資源。

LivePortrait的主要功能

• 表情與姿態(tài)轉(zhuǎn)移：LivePortrait能夠?qū)崟r(shí)將驅(qū)動(dòng)視頻中的表情和姿態(tài)遷移至靜態(tài)或動(dòng)態(tài)人像，生成生動(dòng)的動(dòng)畫(huà)效果。
• 高效生成：在RTX 4090 GPU上，框架的單幀生成速度達(dá)到12.8毫秒，展現(xiàn)出極高的處理速度。
• 強(qiáng)大的泛化能力：通過(guò)結(jié)合視頻與圖片的混合訓(xùn)練策略以及海量高質(zhì)量訓(xùn)練數(shù)據(jù)，LivePortrait展現(xiàn)出良好的適應(yīng)性，能夠處理各種風(fēng)格和身份的人像。
• 控制能力增強(qiáng)：采用隱式關(guān)鍵點(diǎn)和輕量級(jí)MLP網(wǎng)絡(luò)，LivePortrait提升了對(duì)動(dòng)畫(huà)生成過(guò)程的控制能力。
• 多樣風(fēng)格支持：該框架能夠處理多種風(fēng)格的人像，包括真實(shí)人物及風(fēng)格化（如動(dòng)漫）人像。
• 高分辨率動(dòng)畫(huà)生成：支持生成高分辨率動(dòng)畫(huà)，提供更加清晰的視覺(jué)體驗(yàn)。
• 適應(yīng)性模塊：設(shè)計(jì)了貼合模塊及眼部、嘴部重定向模塊，以適應(yīng)裁剪、多人合照等復(fù)雜場(chǎng)景，避免像素錯(cuò)位問(wèn)題。

LivePortrait的技術(shù)原理

• 基礎(chǔ)模型訓(xùn)練：初期階段主要優(yōu)化外觀提取器、提取器、扭曲模塊和解碼器，模型從零開(kāi)始訓(xùn)練。
• 拼接與重定向模塊訓(xùn)練：在基礎(chǔ)模型訓(xùn)練完成后，凍結(jié)外觀提取器、提取器、扭曲模塊和解碼器，第二階段專(zhuān)注于拼接和重定向模塊的優(yōu)化。
• 視頻-圖像混合訓(xùn)練：將每張圖片視為視頻片段，模型在視頻和圖片上同時(shí)訓(xùn)練，以提升泛化能力。
• 升級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)：將隱式關(guān)鍵點(diǎn)估計(jì)網(wǎng)絡(luò)、頭部姿態(tài)估計(jì)網(wǎng)絡(luò)和表情變形估計(jì)網(wǎng)絡(luò)整合為一個(gè)單一模型，采用ConvNeXt-V2-Tiny結(jié)構(gòu)，直接估計(jì)輸入圖片的隱式關(guān)鍵點(diǎn)、頭部姿態(tài)和表情變形。
• 關(guān)鍵點(diǎn)引導(dǎo)的隱式關(guān)鍵點(diǎn)優(yōu)化：引入2D關(guān)鍵點(diǎn)捕捉微表情，并用關(guān)鍵點(diǎn)引導(dǎo)的損失優(yōu)化隱式關(guān)鍵點(diǎn)。
• 級(jí)聯(lián)損失函數(shù)：采用face vid2vid的隱式關(guān)鍵點(diǎn)不變損失、關(guān)鍵點(diǎn)先驗(yàn)損失、頭部姿態(tài)損失和變形先驗(yàn)損失，并結(jié)合感知和GAN損失來(lái)提升紋理質(zhì)量。

LivePortrait的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://liveportrait.github.io/
• GitHub倉(cāng)庫(kù)：https://github.com/KwaiVGI/LivePortrait
• Hugging Face模型庫(kù)：https://huggingface.co/spaces/KwaiVGI/LivePortrait
• arXiv技術(shù)論文：https://arxiv.org/pdf/2407.03168

LivePortrait的應(yīng)用場(chǎng)景

• 社交媒體內(nèi)容創(chuàng)作：用戶(hù)可以將自己的照片或視頻轉(zhuǎn)換為動(dòng)態(tài)內(nèi)容，適用于社交媒體平臺(tái)，增強(qiáng)互動(dòng)性與吸引力。
• 虛擬主播與直播：利用LivePortrait技術(shù)，能夠創(chuàng)建虛擬形象進(jìn)行直播或視頻制作，無(wú)需真人出鏡，適用于游戲直播、教育講解等場(chǎng)景。
• 影視與動(dòng)畫(huà)制作：在影視后期制作中，LivePortrait可用于角色表情捕捉與動(dòng)畫(huà)生成，提高制作效率，降低成本。
• 廣告與營(yíng)銷(xiāo)：企業(yè)可以使用LivePortrait技術(shù)制作吸引人的廣告視頻，通過(guò)動(dòng)態(tài)人物形象抓住潛在客戶(hù)的眼球。