端側 GPT-4o來了！ 全新面壁小鋼炮，實時流式，全模態、端到端！

原標題：端側 GPT-4o來了！ 全新面壁小鋼炮，實時流式，全模態、端到端！
文章來源：夕小瑤科技說
內容字數：6589字

MiniCPM-o 2.6：端側GPT-4o時代的來臨

本文總結了MiniCPM-o 2.6的突破性進展，它是一款僅8B參數的端側全模態大模型，性能接近GPT-4o，標志著端側GPT-4o時代的到來。

一、性能突破，全模態SOTA

1. MiniCPM-o 2.6在音視頻理解和語音生成方面均取得了開源SOTA，性能與GPT-4o和Claude-3.5-Sonnet比肩。

2. 在實時流式視頻理解能力的StreamingBench榜單上，其性能驚艷，與GPT-4o和Claude-3.5-Sonnet不相上下。

3. 在語音方面，它超越了Qwen2-Audio-7B-Instruct和GLM-4-Voice 9B，在理解和生成方面都達到了開源SOTA。

4. 在視覺理解方面，MiniCPM-o 2.6繼續保持最強端側視覺通用模型的紀錄。

二、實時流式交互，超越靜態照片模型

1. MiniCPM-o 2.6實現了真正的實時流式音視頻通話，能夠持續感知和建模實時視頻和音頻流，不像其他模型那樣只處理靜態畫面。

2. 它能捕捉到用戶提問之前的畫面和聲音，并理解更豐富的環境聲音，例如翻書聲、倒水聲等，這是GPT-4o所無法做到的。

3. MiniCPM-o 2.6支持自然流暢的語音對話，具備情感表達能力，可以實時打斷，并保持上下文理解。

4. 它擁有真人質感的語音生成能力，支持語音克隆，并能根據語言描述創建聲音。

三、端側優勢與應用潛力

1. 端側模型具備隱私性好、更可靠、響應快、不懼弱網斷網環境等優勢。

2. MiniCPM-o 2.6在智能座艙、教育、商務、特殊人群服務、客服和營銷等領域都展現出巨大的應用潛力。

3. 面壁智能提出大模型密度定律，認為模型能力密度隨時間呈指數級增長，端側模型的成本和功耗持續下降，這將推動大模型在端側的廣泛應用。

4. 未來，越來越多的設備將搭載端側智能，MiniCPM-o 2.6代表了端側AI發展的方向。

四、總結

MiniCPM-o 2.6 的出現標志著端側AI技術取得了重大突破，它實現了接近GPT-4o的性能，同時具備端側模型的諸多優勢。未來，它將在各個領域發揮重要作用，推動AI技術更廣泛地應用于人們的生活。

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：低負擔解碼AI世界，硬核也可愛！聚集35萬AI發燒友、開發者和從業者，廣泛覆蓋互聯網大廠中高管、AI公司創始人和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189