全面打破GPT-4壟斷、DeepSeek打下訓練成本…2024年大模型領域進展全復盤

2024年，我們居然進步這么大。

原標題：全面打破GPT-4壟斷、DeepSeek打下訓練成本…2024年大模型領域進展全復盤
文章來源：機器之心
內容字數：24709字

2024年大型語言模型發展回顧：Simon Willison年度總結

本文總結了英國研究員Simon Willison對2024年大型語言模型（LLM）發展趨勢的精彩見解。文章指出，2024年是生成式AI大發展的一年，其發展速度之快令人驚嘆。

1. GPT-4壟斷的終結與多家模型崛起

2023年，GPT-4占據領先地位。但2024年，這一局面被徹底打破。多個公司和機構的模型在Chatbot Arena排行榜上超越了GPT-4，例如Google的Gemini系列、Anthropic的Claude系列等。這標志著LLM領域的競爭日益激烈。

2. 模型小型化與價格下降

令人矚目的是，一些GPT-4級別的模型已經可以在筆記本電腦上運行，例如Qwen2.5-Coder-32B和Meta的Llama 3.3 70B。同時，由于競爭和效率提升，大模型服務的運行成本大幅下降，這極大地降低了使用門檻。

3. 多模態模型的興起

多模態LLM成為2024年的另一大趨勢。幾乎所有主要的模型供應商都推出了支持圖像、音頻和視頻輸入的模型。語音和實時攝像頭模式也從科幻小說變成了現實，極大地擴展了LLM的應用場景。

4. 一鍵生成應用的普及

通過簡單的提示詞即可生成完整的交互式應用程序，這在2024年變得非常普遍。Anthropic的Claude Artifacts、GitHub Spark等工具都體現了這一趨勢，使得LLM的應用更加便捷。

5. 最佳模型的短暫免費時代與AI智能體的未來

在2024年的幾個月里，頂級模型曾短暫地免費向公眾開放，但這似乎已經成為過去。關于AI智能體，作者認為其定義模糊，實用性還有待提高，其發展可能依賴于通用人工智能的實現。

6. 評估的重要性與Apple Intelligence的不足

作者強調了自動化評估系統的重要性，這對于模型的快速迭代和優化至關重要。同時，作者也指出Apple Intelligence的表現令人失望，而蘋果的MLX庫卻非常出色，為在非NVIDIA平臺上運行LLM提供了便利。

7. 推理模型的崛起與中國模型的突破

新興的“推理”模型，例如OpenAI的o1和o3，以及谷歌、阿里巴巴等公司的類似模型，代表著LLM架構處理復雜問題能力的提升。DeepSeek v3作為目前最大的公開授權模型之一，其低廉的訓練成本也令人印象深刻。

8. 環境影響的雙面性

模型效率的提高降低了單個提示的能源消耗，但大型數據中心的建設仍然對環境造成巨大影響。這需要在技術進步和環境保護之間尋求平衡。

9. 合成訓練數據的有效性

合成訓練數據在LLM訓練中發揮著越來越重要的作用，它可以有效地引導模型學習，并降低訓練成本。

10. LLM易用性挑戰與知識鴻溝

盡管LLM功能強大，但其使用門檻仍然很高，需要用戶具備一定的專業知識。同時，公眾對LLM的了解程度也存在巨大的差異，這需要更多努力來彌合知識鴻溝。

11. 對LLM的批評與展望

作者鼓勵對LLM進行批判性思考，并強調需要在負責任地使用LLM的同時，最大限度地發揮其正面作用，避免其負面應用。

總而言之，2024年LLM領域取得了令人矚目的進展，但同時也面臨著諸多挑戰。未來，如何在技術進步、環境保護和社會公平之間尋求平衡，將是LLM發展的重要課題。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺