FunClip

FunClip是阿里達摩院推出的一款開源且可本地部署的自動化視頻剪輯工具，利用阿里巴巴通義實驗室的FunASR Paraformer系列模型實現視頻內容的自動語音識別。用戶可以根據識別結果迅速選擇所需的文本片段或特定的說話人，從而高效裁剪出所需的視頻片段。

FunClip是什么

FunClip是一款由阿里達摩院通義實驗室開發的完全開源和本地部署的自動視頻剪輯工具。該工具通過調用阿里巴巴通義實驗室的FunASR Paraformer系列模型，實現了視頻的自動化語音識別。用戶可以基于識別到的文本，輕松選擇特定片段或說話人，快速生成所需的視頻內容。FunClip具備高精度的中文ASR模型，支持熱詞定制、說話人識別，且提供了Gradio交互界面，極大地方便了用戶的操作。此外，FunClip還支持多段剪輯，并能夠自動生成SRT字幕文件。

FunClip

FunClip的主要功能

自動語音識別：采用阿里巴巴通義實驗室的FunASR Paraformer系列模型，對視頻進行語音轉文字處理。
熱詞定制：通過集成的SeACo-Paraformer模型，用戶可指定特定實體詞或人名作為熱詞，以提高特定詞匯的識別準確性。
說話人識別：集成CAM++說話人識別模型，用戶可以根據自動識別的說話人ID裁剪特定說話人的視頻片段。
視頻裁剪：用戶可選擇識別結果中的文本片段或特定說話人，通過點擊裁剪按鈕生成對應的視頻片段。
Gradio交互界面：通過Gradio搭建的界面，簡化了視頻剪輯的操作流程，用戶可在服務端建立服務并通過瀏覽器操作。
多段剪輯支持：FunClip允許用戶進行多段視頻剪輯，提供靈活的編輯能力。
自動生成字幕：剪輯后的視頻可自動生成全視頻及目標段落的SRT字幕文件，方便用戶進行字幕的添加和編輯。
命令行調用：除了圖形界面，FunClip還支持命令行操作，提供更靈活的使用方式。

FunClip的官網入口

官方GitHub源碼地址：https://github.com/alibaba-damo-academy/FunClip
ModelScope魔搭社區在線Demo：https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

如何使用FunClip

方法一：本地部署Gradio版本

首先確保您的計算機上已安裝Python和Git，然后打開終端，依次輸入并運行以下命令：

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirements.txt

python funclip/launch.py

最后在瀏覽器中訪問localhost:7860即可體驗FunClip。

方法二：在線體驗魔搭社區Demo

訪問魔搭社區提供的在線Demo，然后按照以下步驟操作：

上傳視頻或音頻文件（或使用下方的示例進行體驗），點擊「識別」按鈕。
從識別結果中復制所需的文字到右上方，或設置說話人標識，配置偏移與字幕（可選）。
點擊「裁剪」或「裁剪并添加字幕」按鈕以獲得結果。

方法三：命令行運行相關指令

打開終端，依次輸入以下命令：

# 1. 克隆GitHub源代碼
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安裝Python依賴
cd FunClip && pip install -r ./requirements.txt
# 3. 添加視頻進行識別
python funclip/videoclipper.py --stage 1 \
--file examples/2022云棲大會_片段.mp4 \
--output_dir ./output
# ./output/目錄將輸出識別結果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022云棲大會_片段.mp4 \
--output_dir ./output \
--dest_text '我們把它跟鄉村振興去結合起來，利用我們的設計的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'

閱讀原文