“agent”一詞令人沮喪，GPT-4級模型已不值一提，大神程序員盤點「大模型的2024」

原標題：“agent”一詞令人沮喪，GPT-4級模型已不值一提，大神程序員盤點「大模型的2024」
文章來源：人工智能學家
內容字數：28401字

2024年大語言模型（LLM）領域回顧：驚喜與挑戰并存

2024年被業內人士稱為“AGI元年”，大模型領域發生了翻天覆地的變化。本文總結了Simon Willison在《Things we learned about LLMs in 2024》一文中對2024年LLM領域的關鍵發現，并對其進行了精編。

1. GPT-4的護城河被突破

2023年，GPT-4的性能一度遙不可及。但2024年，多個組織的模型在Chatbot Arena Leaderboard上的得分超過了GPT-4-0314，例如谷歌的Gemini 1.5 Pro，以及Anthropic的Claude 3系列。這標志著GPT-4級的模型不再是少數機構的專利，訓練此類模型已不再是特別值得一提的成就。

2. 筆記本電腦也能運行GPT-4級模型

得益于訓練和推理性能的顯著提升，如今即使是普通的64GB內存筆記本電腦也能運行多個GPT-4級模型，這在2023年是不可想象的。Meta的Llama 3.2系列模型也展現了在較小尺寸下取得的令人驚喜的效果。

3. LLM價格大幅下降

2024年，LLM的使用成本急劇下降，這主要歸功于競爭加劇和效率提高。各家模型提供商的價格戰使得使用先進模型的成本降低了數十倍，這對于個人用戶和小型企業來說是個好消息，也降低了LLM對環境的影響。

4. 多模態模型的興起

多模態大語言模型（MLLM）在2024年得到廣泛應用，幾乎所有模型提供商都推出了支持圖像、音頻和視頻輸入的模型。多模態能力極大地拓展了LLM的應用范圍，也為用戶提供了更豐富的交互方式。

5. 語音和實時視頻模式的應用

語音和實時視頻模式的出現，讓科幻照進現實。OpenAI的GPT-4o和谷歌的Gemini都支持音頻輸入和輸出，并能進行逼真的語音對話。實時視頻模式也開始出現，用戶可以與模型實時分享相機畫面并進行交流。

6. Prompt驅動的應用生成成為商品

通過編寫合適的prompt，LLM可以生成完整的交互式應用，這一能力在2024年得到廣泛應用。許多團隊都構建了類似的系統，這項功能已成為一種商品，可以有效地與所有領先的模型進行競爭。

7. 強大模型的普及與付費模式的轉變

2024年，強大的模型在幾個月內就變得普及，OpenAI和Anthropic都向所有用戶免費提供了其強大的模型。然而，免費使用SOTA模型的時代可能已經結束，付費訂閱模式將成為主流。

8. 智能體（Agent）的局限性

盡管“智能體”概念備受關注，但其定義仍然模糊，實際應用也面臨挑戰，尤其是在應對“輕信”（gullibility）問題上進展甚微。

9. 自動評估的重要性

為LLM驅動的系統編寫優秀的自動評估，是構建有用應用的關鍵技能。擁有強大的評估套件能夠加快模型迭代，并構建更可靠、更有用的產品功能。

10. 蘋果的MLX庫與Apple Intelligence的差距

蘋果公司的MLX庫為Apple Silicon帶來了強大的模型運行能力，但其自家的Apple Intelligence功能卻令人失望，與其他領先的LLM相比差距明顯。

11. 推理擴展模型的興起

OpenAI的o1模型開辟了一種新的模型擴展方法：通過在推理上花費更多計算量來解決更難的問題，而不是單純增加訓練計算量。

12. 中國在LLM訓練方面的進展

DeepSeek v3等模型的出現，顯示出中國在LLM訓練方面的顯著進展，尤其是在訓練效率優化方面，這可能與美國對中國出口GPU的限制有關。

13. LLM環境影響的改善

模型效率的提高降低了運行prompt的能耗和對環境的影響，這消除了部分人對LLM環境影響的擔憂。

14. 數據中心建設的必要性

LLM成本的下降引發了對未來數據中心建設必要性的討論，過度的基礎設施建設可能會造成資源浪費和環境問題。

15. “泔水”（Slop）時代的到來

2024年，“泔水”一詞被用來形容人工智能生成的未經請求和未經審查的內容，這突顯了濫用生成式人工智能的風險。

16. 合成訓練數據的有效性

合成訓練數據在LLM訓練中發揮著越來越重要的作用，它可以幫助引導模型走向正確的方向，并提高訓練效率。

17. 有效利用LLM的挑戰

雖然LLM功能強大，但要充分利用它們并非易事，需要用戶具備深入的理解和豐富的經驗，才能避免其陷阱。

18. 認知差距的擴大

公眾對LLM的認知存在巨大差距，這可能會影響到這項技術對社會的積極影響。

19. 對LLM的批判性思考

LLM值得被批判性地審視，需要對環境影響、數據可靠性、不正當應用等問題進行討論，并找到解決方案，以確保其正面應用大于負面影響。

總而言之，2024年是LLM領域發展迅猛的一年，既帶來了令人驚喜的進步，也帶來了新的挑戰。未來，如何更好地利用LLM，并解決其局限性和潛在風險，將是業界需要持續關注和努力的方向。

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構