DeepEyes – 小紅書聯(lián)合西安交大推出的多模態(tài)深度思考模型

DeepEyes 是由小紅書團隊攜手西安交通大學(xué)傾力打造的多模態(tài)深度思考模型，它如同擁有“火眼金睛”，能夠像 OpenAI o3 一樣“用圖思考”。 借助端到端強化學(xué)習(xí)，DeepEyes 擺脫了對監(jiān)督微調(diào)（SFT）的依賴，通過動態(tài)調(diào)用圖像工具，如裁剪和縮放，精細化地感知和理解視覺細節(jié)。 在視覺推理基準測試 V* Bench 上，DeepEyes 展現(xiàn)出高達 90.1% 的準確率，展現(xiàn)了其強大的視覺搜索和多模態(tài)推理能力。

DeepEyes：開啟“用圖思考”的智能時代

DeepEyes，這款由小紅書團隊與西安交通大合研發(fā)的創(chuàng)新型多模態(tài)深度思考模型，引領(lǐng)著視覺智能的新潮流。 它的核心在于模擬人類的思考方式，通過“用圖思考”的能力，實現(xiàn)對視覺信息的深度理解，并結(jié)合文本信息進行精準推理。

核心功能：

• 圖像深度解讀： 告別“看圖”的淺層理解，DeepEyes 能夠“用圖思考”，在推理過程中主動調(diào)用圖像工具，如裁剪和縮放，從而更精細地捕捉細節(jié)，提升理解的深度。
• 高效視覺搜索： 即使在高分辨率圖像中，DeepEyes 也能迅速定位細小物體的蹤跡或模糊區(qū)域。 通過裁剪和縮放等工具，它能對關(guān)鍵細節(jié)進行深入分析，顯著提高搜索的準確性。
• 減少幻覺，增強可靠性： DeepEyes 專注于圖像細節(jié)，有效降低了模型生成回答時出現(xiàn)幻覺的可能性，從而提升了答案的準確性和可靠性。
• 多模態(tài)融合推理： 視覺與文本信息無縫融合，DeepEyes 具備強大的多模態(tài)推理能力，在處理復(fù)雜任務(wù)時游刃有余。
• 自主工具調(diào)用： 模型能夠自主決定何時調(diào)用圖像工具，例如裁剪、縮放等，無需外部工具的輔助，實現(xiàn)更高效、更精準的推理。

了解更多：

想深入了解 DeepEyes 的技術(shù)細節(jié)和應(yīng)用案例？ 歡迎訪問以下資源：

• 項目官網(wǎng)：https://visual-agent.github.io/
• GitHub 代碼倉庫：https://github.com/Visual-Agent/DeepEyes
• HuggingFace 模型庫：https://huggingface.co/ChenShawn/DeepEyes
• 技術(shù)論文（arXiv）：https://arxiv.org/pdf/2505.14362

應(yīng)用場景：

DeepEyes 的應(yīng)用前景廣闊，以下是幾個極具潛力的應(yīng)用場景：

• 教育領(lǐng)域： 輔助學(xué)生解析試卷中的圖表和幾何圖形，提供詳細的解題步驟，助力高效學(xué)習(xí)。
• 醫(yī)療影像分析： 輔助醫(yī)生分析醫(yī)學(xué)影像，提高診斷的準確性和效率，為患者提供更精準的治療方案。
• 智能交通： 實時分析路況圖像，為自動駕駛系統(tǒng)提供更準確的決策依據(jù)，提升交通安全水平。
• 安防監(jiān)控： 分析監(jiān)控視頻，識別異常行為，增強公共安全，助力犯罪預(yù)防。
• 工業(yè)制造： 在生產(chǎn)線上進行質(zhì)量檢測和設(shè)備故障預(yù)測，提高生產(chǎn)效率，降低維護成本。

常見問題解答：

關(guān)于 DeepEyes，您可能還會關(guān)心以下問題：

• DeepEyes 和其他視覺模型有什么不同？ DeepEyes 最大的特色在于“用圖思考”的能力，通過端到端強化學(xué)習(xí)和動態(tài)工具調(diào)用，實現(xiàn)了對視覺信息的深度理解和精準推理。
• DeepEyes 的未來發(fā)展方向是什么？ DeepEyes 團隊將持續(xù)優(yōu)化模型性能，探索更多應(yīng)用場景，致力于將其打造成為更智能、更可靠的多模態(tài)視覺推理工具。
• 如何參與 DeepEyes 的開發(fā)和應(yīng)用？ 歡迎訪問 DeepEyes 的 GitHub 倉庫，參與開源項目的貢獻。 同時，也歡迎您將 DeepEyes 應(yīng)用于您的項目中，共同推動視覺智能的發(fā)展。