HumanVid是一款由香港中文大學(xué)與上海人工智能實驗室聯(lián)合研發(fā)的高質(zhì)量數(shù)據(jù)集，專為人類圖像動畫訓(xùn)練而設(shè)計。該數(shù)據(jù)集結(jié)合了真實世界的視頻與合成數(shù)據(jù)，經(jīng)過精心的規(guī)則篩選和高質(zhì)量注釋，力求提升視頻生成的控制性與穩(wěn)定性。通過基線模型CamAnimate的驗證，HumanVid在控制人物姿勢與攝像機方面取得了顯著進展，計劃于2024年9月底公開代碼與數(shù)據(jù)集。

HumanVid是什么

HumanVid是一個旨在推動人類圖像動畫研究的高質(zhì)量數(shù)據(jù)集，由香港中文大學(xué)和上海人工智能實驗室共同開發(fā)。該數(shù)據(jù)集通過整合現(xiàn)實世界的視頻和合成數(shù)據(jù)，采用嚴(yán)格的篩選標(biāo)準(zhǔn)確保視頻質(zhì)量，并運用2D姿勢估計和SLAM技術(shù)進行詳細(xì)注釋。HumanVid旨在提升視頻生成的可控性與穩(wěn)定性，并通過基線模型CamAnimate證明其在姿勢控制與攝像機方面的有效性。該項目預(yù)計在2024年9月底發(fā)布相應(yīng)的代碼和數(shù)據(jù)集。

HumanVid的主要功能

• 高質(zhì)量數(shù)據(jù)集成：融合現(xiàn)實世界與合成數(shù)據(jù)，確保數(shù)據(jù)集的多樣性與豐富性。
• 版權(quán)無憂：所有視頻與3D角色資產(chǎn)均為無版權(quán)素材，方便研究與應(yīng)用。
• 嚴(yán)格篩選機制：通過規(guī)則篩選確保數(shù)據(jù)集內(nèi)視頻的高標(biāo)準(zhǔn)。
• 精準(zhǔn)注釋技術(shù)：應(yīng)用2D姿勢估計和SLAM技術(shù)，對視頻中的人體和攝像機進行精確標(biāo)注。

HumanVid的技術(shù)原理

• 數(shù)據(jù)集構(gòu)建：HumanVid通過從互聯(lián)網(wǎng)上收集大量無版權(quán)的真實視頻，并結(jié)合合成數(shù)據(jù)，旨在構(gòu)建一個高質(zhì)量的數(shù)據(jù)集。所有視頻經(jīng)過嚴(yán)格的篩選流程，確保數(shù)據(jù)的高標(biāo)準(zhǔn)。
• 注釋方法：運用2D姿勢估計技術(shù)對視頻中的人體動作進行標(biāo)注，同時采用SLAM（同時定位與建圖）技術(shù)注釋攝像機的移動軌跡。
• 合成數(shù)據(jù)生成：為了豐富數(shù)據(jù)集，HumanVid收集了無版權(quán)的3D角色資產(chǎn)，并引入基于規(guī)則的攝像機軌跡生成方法，以模擬多樣化的攝像機。
• 模型訓(xùn)練：HumanVid建立了一個基線模型CamAnimate，考慮了人體及攝像機的作為條件，經(jīng)過在HumanVid數(shù)據(jù)集上的訓(xùn)練，能夠生成可控的人物姿勢與攝像機的視頻。

HumanVid的項目地址

• GitHub倉庫：https://github.com/zhenzhiwang/HumanVid
• arXiv技術(shù)論文：https://arxiv.org/pdf/2407.17438

HumanVid的應(yīng)用場景

• 視頻制作：為電影、電視及其他視頻內(nèi)容創(chuàng)作提供高質(zhì)量的動畫生成，支持導(dǎo)演與制片人通過控制人物姿態(tài)與鏡頭，打造更生動的場景。
• 游戲開發(fā)：在電子游戲中，HumanVid能夠生成真實感極強的NPC（非玩家角色）動畫，增強游戲的沉浸感與互動性。
• 虛擬現(xiàn)實與增強現(xiàn)實：在VR和AR應(yīng)用中，HumanVid可生成與用戶互動的虛擬角色，提供更加自然流暢的體驗。
• 教育與培訓(xùn)：HumanVid能夠制作教學(xué)視頻，模擬人物動作與場景，幫助學(xué)生更好地理解復(fù)雜概念。

常見問題

• HumanVid的數(shù)據(jù)集如何獲取？：HumanVid計劃于2024年9月底公開代碼及數(shù)據(jù)集，屆時可在其GitHub頁面找到相關(guān)信息。
• HumanVid支持哪些平臺？：HumanVid的數(shù)據(jù)集可在多種平臺上使用，主要面向研究人員和開發(fā)者。
• 如何參與HumanVid項目？：您可以通過訪問其GitHub頁面，關(guān)注項目進展并參與討論。