FunClip

FunClip是阿里達摩院推出的一款開源且可本地部署的自動化視頻剪輯工具，利用阿里巴巴通義實驗室的FunASR Paraformer系列模型實現(xiàn)視頻內容的自動語音識別。用戶可以根據(jù)識別結果迅速選擇所需的文本片段或特定的說話人，從而高效裁剪出所需的視頻片段。

FunClip是什么

FunClip是一款由阿里達摩院通義實驗室開發(fā)的完全開源和本地部署的自動視頻剪輯工具。該工具通過調用阿里巴巴通義實驗室的FunASR Paraformer系列模型，實現(xiàn)了視頻的自動化語音識別。用戶可以基于識別到的文本，輕松選擇特定片段或說話人，快速生成所需的視頻內容。FunClip具備高精度的中文ASR模型，支持熱詞定制、說話人識別，且提供了Gradio交互界面，極大地方便了用戶的操作。此外，F(xiàn)unClip還支持多段剪輯，并能夠自動生成SRT字幕文件。

FunClip的主要功能

• 自動語音識別：采用阿里巴巴通義實驗室的FunASR Paraformer系列模型，對視頻進行語音轉文字處理。
• 熱詞定制：通過集成的SeACo-Paraformer模型，用戶可指定特定實體詞或人名作為熱詞，以提高特定詞匯的識別準確性。
• 說話人識別：集成CAM++說話人識別模型，用戶可以根據(jù)自動識別的說話人ID裁剪特定說話人的視頻片段。
• 視頻裁剪：用戶可選擇識別結果中的文本片段或特定說話人，通過點擊裁剪按鈕生成對應的視頻片段。
• Gradio交互界面：通過Gradio搭建的界面，簡化了視頻剪輯的操作流程，用戶可在服務端建立服務并通過瀏覽器操作。
• 多段剪輯支持：FunClip允許用戶進行多段視頻剪輯，提供靈活的編輯能力。
• 自動生成字幕：剪輯后的視頻可自動生成全視頻及目標段落的SRT字幕文件，方便用戶進行字幕的添加和編輯。
• 命令行調用：除了圖形界面，F(xiàn)unClip還支持命令行操作，提供更靈活的使用方式。

FunClip的官網入口

• 官方GitHub源碼地址：https://github.com/alibaba-damo-academy/FunClip
• ModelScope魔搭社區(qū)在線Demo：https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

如何使用FunClip

方法一：本地部署Gradio版本

首先確保您的計算機上已安裝Python和Git，然后打開終端，依次輸入并運行以下命令：

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirements.txt

python funclip/launch.py

最后在瀏覽器中訪問localhost:7860即可體驗FunClip。

方法二：在線體驗魔搭社區(qū)Demo

訪問魔搭社區(qū)提供的在線Demo，然后按照以下步驟操作：

1. 上傳視頻或音頻文件（或使用下方的示例進行體驗），點擊「識別」按鈕。
2. 從識別結果中復制所需的文字到右上方，或設置說話人標識，配置偏移與字幕（可選）。
3. 點擊「裁剪」或「裁剪并添加字幕」按鈕以獲得結果。

方法三：命令行運行相關指令

打開終端，依次輸入以下命令：

# 1. 克隆GitHub源代碼
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安裝Python依賴
cd FunClip && pip install -r ./requirements.txt
# 3. 添加視頻進行識別
python funclip/videoclipper.py --stage 1 \
--file examples/2022云棲大會_片段.mp4 \
--output_dir ./output
# ./output/目錄將輸出識別結果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022云棲大會_片段.mp4 \
--output_dir ./output \
--dest_text '我們把它跟鄉(xiāng)村振興去結合起來，利用我們的設計的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'