智源發布FlagEval評測：全球100+大模型多模態表現一覽！

還有四大專項評測榜單，探索模型能力邊界與應用潛能

原標題：100+大模型綜測結果出爐！智源發布FlagEval“百?！痹u測結果，覆蓋文本語音圖片視頻多種模態
文章來源：量子位
內容字數：6053字

2024年大模型綜測結果發布

根據智源研究院的最新評測結果，2024年下半年的大模型發展將更加關注綜合能力提升與實際應用。此次評測涵蓋了100余個開源和閉源的大模型，涉及語言、視覺語言、文生圖、文生視頻及語音語言等多個領域。

主要結論

1. **多模態模型迅速發展**：新廠商和新模型不斷涌現，語言模型的發展相對放緩。開源生態中，新的貢獻者逐漸增多。

2. **語言模型評測**：在中文能力的主觀評測中，字節跳動的Doubao-pro-32k-preview和百度的ERNIE 4.0 Turbo分別位于第一和第二。復雜場景任務中，國內頂尖語言模型仍與國際水平存在顯著差距。

3. **視覺語言模型表現**：盡管開源模型趨同，表現卻不一。領先的模型在圖文理解任務上縮小了與閉源模型的差距，但在長尾視覺知識和復雜數據分析能力上仍需提升。

4. **文生圖和文生視頻模型**：頭部文生圖模型開始具備中文文字生成能力，但在復雜場景下表現仍有不足。文生視頻模型的畫質和動態性有所提升，但仍存在物體變形和理解物理規律的困難。

專項評測與應用能力

1. **K12學科測驗**：大模型與人類學生的能力差距仍然存在，但整體表現較半年前有所提升，尤其在英語和歷史試題中已超越人類考生。

2. **FlagEval模型角斗場**：智源研究院推出的模型對戰評測服務顯示，用戶對模型的響應時間和內容結構化要求更高。

3. **金融量化交易評測**：探討了模型在金融領域的應用，發現大模型已具備生成有回撤收益的策略代碼的能力，但在實際代碼生成任務上的表現差異較大。

總結與未來展望

智源研究院通過FlagEval評測體系，不斷探索模型能力的邊界與應用潛力。副院長林詠華表示，未來將進一步發展動態評測與多任務能力評估體系，為大模型技術生態的發展提供深刻洞察。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破