SenseVoice

SenseVoice官網(wǎng)

一款阿里通義實(shí)驗(yàn)室發(fā)布的FunAudioLLM框架多語言音頻基礎(chǔ)模型，SenseVoice具有多語種、混合語言、音色和情感控制能力。

網(wǎng)站提供：Ai工具箱，AI語音工具，SenseVoice，Voice。

SenseVoice簡(jiǎn)介

SenseVoice，一款阿里通義實(shí)驗(yàn)室發(fā)布的FunAudioLLM框架多語言音頻基礎(chǔ)模型，enseVoice專注于高精度多語言語音識(shí)別、語音情感識(shí)別和音頻檢測(cè)，具有多語種、混合語言、音色和情感控制能力，在零樣本語音生成、跨語言語音克隆和指令跟蹤方面的能力表現(xiàn)優(yōu)秀。

FunAudioLLM 通過結(jié)合先進(jìn)的語音理解和生成技術(shù)，可以處理復(fù)雜的語音任務(wù)，并在多種語言環(huán)境中實(shí)現(xiàn)自然交。

SenseVoice可以應(yīng)用于語音翻譯、情感語音、互動(dòng)播客和富有表現(xiàn)力的有聲讀物朗讀等。

SenseVoice具有音頻理解能力，包括語音識(shí)別（ASR）、語種識(shí)別（LID）、語音情感識(shí)別（SER）和聲學(xué)分類（AEC）或聲學(xué)檢測(cè)（AED）

SenseVoice性能：

• 多語言語音識(shí)別：經(jīng)過超過40萬小時(shí)的數(shù)據(jù)訓(xùn)練，支持50多種語言，識(shí)別性能超越Whisper模型。

• 豐富轉(zhuǎn)錄：

  擁有優(yōu)秀的情緒識(shí)別能力，在測(cè)試數(shù)據(jù)上達(dá)到并超越目前最好的情緒識(shí)別模型的效果。

  提供聲音檢測(cè)能力，支持bgm、掌聲、笑聲、哭泣、咳嗽、打噴嚏等各種常見人機(jī)交互的檢測(cè)。

• 高效推理：SenseVoice-Small 模型采用非自回歸端到端框架，從而實(shí)現(xiàn)極低的推理延遲。處理 10 秒的音頻僅需 70ms，比 Whisper-Large 快 15 倍。

• 便捷的Finetuning：提供便捷的Finetuning腳本和策略，讓用戶根據(jù)業(yè)務(wù)場(chǎng)景輕松解決長(zhǎng)尾樣本問題。

• 服務(wù)部署：提供服務(wù)部署管道，支持多并發(fā)請(qǐng)求，客戶端語言包括Python、C++、HTML、Java、C#等。

在aiSHELL-1、AISHELL-2、Wenetspeech、Librispeech和Common Voice上測(cè)試了多語言語音識(shí)別性能和推理效率，中文和粵語，SenseVoice-Small效果好。

github：https://github.com/FunAudioLLM/SenseVoice

SenseVoice官網(wǎng)入口網(wǎng)址

https://fun-audio-llm.github.io/

OpenI小編發(fā)現(xiàn)SenseVoice網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問SenseVoice網(wǎng)址入口試用。