Vidu Q1

Vidu Q1 – 生數科技推出的高可控視頻大模型

Vidu Q1 是由清華大學人工智能研究院副院長、生數科技創始人兼首席科學家朱軍教授的團隊開發的一款高可控性視頻大模型。該產品在多主體細節控制、音效同步以及畫質增強等方面表現卓越。Vidu Q1 允許用戶精確地調整場景中多個主體的位置、大小和軌跡，并能夠在時間軸上標注音效的類型和時長，實現了±0.1秒的高同步精度。它還具備針對模糊區域進行局部超分重建的能力，即使在將4K視頻放大8倍的情況下也不會出現馬賽克現象。

Vidu Q1是什么

Vidu Q1 是清華大學人工智能研究院副院長、生數科技創始人兼首席科學家朱軍教授團隊推出的高可控視頻大模型。在多主體細節控制、音效同步以及畫質提升等方面，Vidu Q1 取得了顯著的進展。用戶可以精準調整視頻中各個主體的位置、大小和軌跡，并在時間軸上標注音效類型與時長，確保同步精度達到±0.1秒。此外，Vidu Q1 還能夠針對模糊區域進行局部超分辨率重建，即使在將4K視頻放大8倍時也能保持清晰，避免馬賽克現象的出現。

Vidu Q1的主要功能

精準調整主體屬性：用戶可以通過上傳參考圖和文字指令，選定視頻中的任意角色或對象，精準調整其位置（坐標軸定位）、大小（百分比縮放）、軌跡（自定義路徑曲線）以及動作細節（如“抬手15度”“眨眼頻率2秒/次”）。實測結果顯示，同一指令生成10次視頻時，角色的偏移誤差小于5像素，而傳統模型的誤差通常超過200像素。
多主體一致性：在處理多主體場景時，Vidu Q1 能夠保持各主體之間的一致性，確保視頻中的多個角色或物體的動作和位置協調統一，這對于制作復雜的多主體視頻內容（如動畫、影視短劇等）至關重要。
音效時間軸控制：用戶可以在時間軸上精確標注音效的類型和時長，例如設置0:00-0:03秒為風聲（強度70%），0:04-0:05秒為玻璃破碎聲（左聲道優先）。Vidu Q1 的音效同步精度達到±0.1秒，相較于傳統AI音效隨機匹配，顯著提升了視頻的沉浸感和感染力。
局部超分重建：針對模糊區域，Vidu Q1 能夠進行局部超分辨率重建，即便是4K視頻放大8倍也不會出現馬賽克。用戶還可以手動調節光影強度、材質紋理以及景深虛化等，進一步提升視頻的視覺質量。

Vidu Q1的技術原理

技術架構：Vidu Q1 基于擴散模型（Diffusion Model）和 U-ViT 架構開發，結合了Transformer的可擴展性與長序列建模能力，能夠處理長達16秒的1080p視頻。模型通過視頻自編碼器減少視頻的空間和時間維度，以實現高效的訓練和推斷。
多模態融合：Vidu Q1 融合了文本、圖像和視頻等多種模態的信息，通過靈活的多元輸入實現了多角度、多主體和多元素的一致性生成。這使得 Vidu Q1 能夠生成具有高度一致性和動態性的視頻內容。
自動生成與標注：為了解決大規模視頻訓練數據的標注問題，Vidu Q1 采用高性能的視頻標題生成器來自動標注訓練視頻。在推斷過程中，應用了重新標題技術，將用戶輸入重新表述為更適合模型的形式。
可控視頻生成的拓展：Vidu Q1 還進行了其他可控視頻生成的實驗，包括邊緣檢測到視頻生成、視頻預測和主體驅動生成等，實驗顯示了 Vidu Q1 在不同應用場景中的潛力。

Vidu Q1的應用場景

影視制作：Vidu Q1 能夠快速生成高質量的視頻內容，大幅縮短制作周期并降低成本。其多鏡頭生成能力和對時空一致性的控制，為特效制作、場景剪輯等提供了便利。
廣告宣傳：Vidu Q1 可以快速生成多種風格和主題的視頻廣告，以滿足不同客戶的需求。依據用戶的興趣和行為數據，實現精準投放和個性化推薦，從而提升廣告的轉化率和效果。
動畫制作：Vidu Q1 的多主體一致性控制能力在動畫制作中顯得尤為重要，能夠確保角色在不同視角下的細節一致性，從而減輕動畫師的工作負擔。