原生融合模態訓練有望開啟AI能力的新增長曲線。

原標題：“洋抖難民”攻占小紅書！中國AI出戰，幫全球網友無縫沖浪
文章來源：智東西
內容字數：6787字

商湯“日日新”：原生融合多模態大模型引領AI新篇章

本文介紹了商湯科技推出的“日日新”融合大模型，該模型采用原生融合模態訓練方法，在多模態領域取得了顯著突破，并展現出強大的應用潛力。

1. “日日新”的卓越性能

   “日日新”融合大模型在SuperCLUE 2024年度報告和OpenCompass多模態評測中均取得第一名，其中文科成績甚至超越了OpenAI的o1模型。 它能夠處理圖像、文本、視頻等多種信息，實現深度融合和推理，并展現出超越傳統模型的理解能力和推理能力。例如，它能夠準確識別并定位圖片中的元素，并進行更深層次的推理，例如判斷消防局位置的合理性。 與其他同類模型相比，“日日新”在處理復雜場景、理解圖文關系以及進行跨模態任務方面表現更出色，有效克服了傳統模型中存在的“蹺蹺板效應”，即在提升某種模態能力的同時，其他模態能力下降的問題。

2. 突破傳統局限，實現技術創新

   “日日新”的成功源于其在原生融合模態訓練上的兩項關鍵技術創新：融合模態數據合成和融合任務增強訓練。這些創新解決了困擾多模態研究的“蹺蹺板”問題，實現了模態之間的無縫銜接，讓模型能夠更全面、更準確地理解和處理信息。 傳統圖文對齊模型依賴文字描述，容易造成信息損失，而“日日新”則能有效利用廣泛存在的天然多模態數據，并通過合成數據來彌補天然數據的不足，從而提升模型能力。

3. 廣泛的應用場景和商業價值

   “日日新”已應用于商湯旗下產品，例如商量和辦公小浣熊，并展現出其在多種場景下的應用價值。它可以作為游戲軍師、文案助手，幫助用戶解讀復雜的文檔，甚至分析工廠生產過程中的潛在風險，并提出解決方案。 這種真正的多模態能力，讓“日日新”能夠更好地理解現實世界的需求，成為用戶在各種復雜業務場景中的得力助手。未來，“日日新”還可能與汽車、智能硬件、具身智能機器人等結合，進一步擴展其應用范圍。

4. 原生融合：通往世界模型的必由之路

   商湯“日日新”的原生融合多模態訓練方法具有顯著的成本優勢，其訓練成本僅為傳統方法的60%。 作者認為，要構建真正能夠理解和預測外部世界的“世界模型”，就必須實現多種模態的深度融合。“日日新”的成功，為構建世界模型提供了重要的技術路徑和方向，也預示著多模態原生融合將成為未來AI發展的大勢所趨。

聯系作者

文章來源：智東西
作者微信：
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。