TeleAI 視頻生成大模型是中國電信AI研究院推出的一款先進視頻生成工具，采用創新的兩階段生成框架。該模型首先根據用戶提供的文本描述繪制分鏡頭草圖，隨后基于該草圖生成完整視頻。TeleAI 確保視頻中主體外觀的一致性，并在復雜場景和動作之間實現流暢過渡，遵循物理規律和常識，為短劇創作提供了強大的技術支持。

TeleAI 視頻生成大模型是什么

TeleAI 視頻生成大模型是中國電信AI研究院研發的一款視頻生成工具，利用兩階段生成框架：首先將文本描述轉化為分鏡頭草圖，然后根據草圖生成視頻內容。該模型能夠確保視頻中主體外觀的一致性，精確控制動作和外觀，從而實現復雜場景與動作的流暢過渡，遵循物理規律與常識。VAST技術在視頻生成質量的多個維度上表現優異，尤其在主體一致性和物理規律遵循方面，VBench測試中的人體動作和物體分類均取得滿分，為AI短劇創作提供了強有力的技術支撐。

TeleAI 視頻生成大模型的主要功能

• 視頻生成：根據文本描述自動生成視頻內容，確保主體外觀的一致性。
• 分鏡頭繪制：將文本描述轉化為包含人物姿勢、場景布局等關鍵信息的分鏡頭。
• 精確控制：對視頻中主體的位置、動作和外觀進行精細控制，實現復雜動作的精準模擬。
• 遵循物理規律：確保視頻中的動作和物體符合物理定律，避免不自然的扭曲變形。
• 多場景連續性：在多個場景之間保持目標主體外觀的一致性，實現場景間的流暢轉換。

TeleAI 視頻生成大模型的技術原理

• VAST技術：該模型采用“VAST（Video As Storyboard from Text）”二階段視頻生成技術，通過文本描述精準構建出包含視頻構圖、主置及人物姿態等信息的“故事板”，進而生成相應的視頻內容。
• 外觀一致性與動作控制：借助VAST技術，視頻生成大模型確保單個或多個主體在各個片段中的外觀一致性，實現對復雜動作及交互的精確控制，使角色和物體符合物理規律。
• 全棧大模型能力：通過語義、語音、文生圖、文生視頻等全棧大模型能力，TeleAI打通了短劇及影視制作的各個環節，包括腳本撰寫、分鏡腳本繪制、視頻拍攝及剪輯、配音與音效合成等全流程，顯著提高了制作效率，降低成本。

• 二階段生成框架：通過兩階段生成框架，該模型先繪制分鏡，再生成視頻，顯著提升短劇創作過程的可控性。第一階段將文字描述轉換為一系列分鏡，第二階段基于這些分鏡生成視頻畫面，確保每個動作和場景都準確無誤，武打場面既符合物理規律又富有觀賞性。

TeleAI 視頻生成大模型的應用場景

• 影視制作：生成電影或電視劇的初步剪輯版本，尤其在特效場景制作上，降低實拍成本與風險，提高制作效率。
• 廣告行業：根據產品特點快速制作動態廣告內容，實現廣告創意的快速原型設計與測試，快速適應市場變化。
• 教育與培訓：創建模擬場景進行安全教育與應急演練，制作教學視頻，如科學實驗、歷史重現等，提升教育的互動性與趣味性。
• 游戲開發：在游戲開發中，生成游戲內動態劇情與過場動畫，幫助設計師快速原型設計，測試游戲劇情與角色互動。
• 新聞與報道：快速生成新聞報道視頻，提高新聞制作效率，同時制作新聞背景視頻，增強報道的視覺效果與信息傳達。