12 月 19 日，智源研究院發布并解讀國內外 100 余個開源和商業閉源的語言、視覺語言、文生圖、文生視頻、語音語言大模型綜合及專項評測結果。

原標題：吳恩達發布開源 Python 庫，一個接口可調用多個大模型
文章來源：AI前線
內容字數：6435字

2024年大模型發展趨勢及評測結果綜述

根據智源研究院發布的評測報告，2024年下半年大模型的發展將更加聚焦于綜合能力提升與實際應用。同時，多模態模型的快速發展帶來了新的廠商與模型，但語言模型的進展相對放緩。用戶對模型響應時間的要求提高，傾向于結構化、標準化的輸出格式。

1. 模型能力評估結果

在語言模型的主觀評測中，字節跳動的Doubao-pro-32k-preview和百度的ERNIE 4.0 Turbo分別排名第一和第二。OpenAI和Anthropic的模型緊隨其后。客觀評測方面，OpenAI的o1-mini-2024-09-12和Google的Gemini-1.5-pro-latest表現突出。

2. 多模態模型表現

在視覺語言模型評測中，OpenAI GPT-4o和字節跳動的Doubao-Pro-Vision-32k-241028表現優異，展現出圖文理解能力的提升。文生圖模型方面，騰訊的Hunyuan Image排名第一，顯示出中文文字生成能力的進步，但仍存在復雜場景的挑戰。

3. 文生視頻與語音模型評測

文生視頻模型在畫質和動態性上有所提升，但仍面臨物體變形和物理規律理解不足的問題。語音模型受益于文本大模型的進步，整體能力提升，但在特定任務上與專家模型仍有差距，阿里巴巴的Qwen2-Audio排名第一。

4. 專項評測與用戶反饋

智源研究院推出的FlagEval大模型角斗場，覆蓋多個任務，發現用戶對模型的響應時間和輸出內容有更高要求。此外，針對金融量化交易的評測顯示，頂尖模型已接近初級量化交易員水平。

總結

智源研究院的評測結果表明，盡管大模型在多個領域取得了顯著的進展，但在復雜場景和專業任務中的表現仍需提升。未來大模型的發展將更加注重實際應用和用戶體驗。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。