這是2024年我們對LLMs所學到的東西

2024年，大型語言模型的世界發(fā)生了很多事情。以下是我們在過去一年中關于這個領域的一些發(fā)現(xiàn)，以及我對關鍵主題和關鍵時刻的嘗試識別。\x0a這是對2023年的評論的續(xù)篇。

原標題：這是2024年我們對LLMs所學到的東西
文章來源：人工智能學家
內(nèi)容字數(shù)：27624字

2024年大型語言模型(LLM)領域回顧：關鍵進展與趨勢

本文總結了Simon Willison在其2024年12月31日博客文章中對大型語言模型(LLM)領域年度回顧的要點。文章涵蓋了LLM在過去一年中的顯著進步、關鍵趨勢以及一些值得關注的挑戰(zhàn)。

1. GPT-4的霸主地位被打破

2023年，GPT-4的性能領先其他模型，但2024年情況發(fā)生了巨大變化。多個組織的模型超越了GPT-4，例如Google的Gemini 1.5 Pro、Anthropic的Claude 3系列以及其他來自阿里巴巴、Meta、亞馬遜等公司的模型。Chatbot Arena排行榜上，GPT-4已跌出前列，這標志著LLM領域的競爭日益激烈。

2. LLM的本地化運行成為可能

2024年，一些GPT-4級別的模型可以在高端個人電腦上運行，例如64GB內(nèi)存的MacBook Pro。這歸功于模型效率的顯著提高，例如Meta的Llama 3.2模型，即使在iPhone上也能運行。這表明LLM的應用范圍將進一步擴大。

3. LLM成本大幅下降

由于競爭加劇和效率提升，使用一流LLM的成本急劇下降。與2023年相比，2024年使用各種模型的成本降低了數(shù)十倍，這使得LLM的應用更加經(jīng)濟實惠，并降低了其環(huán)境影響。

4. 多模態(tài)LLM的興起

多模態(tài)LLM，特別是支持圖像、音頻和視頻處理的模型，在2024年得到了廣泛發(fā)展。各大公司紛紛推出各自的多模態(tài)模型，使得LLM的應用場景更加豐富。

5. 語音和實時視頻功能的突破

2024年，語音交互和實時視頻處理功能成為現(xiàn)實。ChatGPT和Gemini等模型都具備了這些功能，使得LLM與用戶的交互更加自然和便捷。

6. 基于提示的交互式應用的興起

LLM可以生成交互式應用程序，例如使用Claude Artifacts或GitHub Spark。這種基于提示驅動的定制界面功能強大且易于構建，預計將在未來得到廣泛應用。

7. 最佳模型的免費訪問短暫

在2024年的幾個月里，一些頂尖的LLM曾免費向公眾開放，但這種局面可能不會持續(xù)。OpenAI推出了付費訂閱服務，表明免費訪問最佳模型的日子可能已經(jīng)結束。

8. “智能體”(Agents) 的發(fā)展緩慢

雖然“智能體”的概念備受關注，但其定義模糊，實際應用仍面臨諸多挑戰(zhàn)，特別是易受性攻擊的問題。

9. 評估(Evals) 的重要性凸顯

自動評估對于LLM系統(tǒng)的開發(fā)和改進至關重要。良好的評估套件可以幫助開發(fā)者更快地迭代和改進模型，構建更可靠和有用的應用程序。

10. 蘋果的MLX庫表現(xiàn)出色

蘋果的MLX庫為Apple Silicon設備提供了強大的LLM運行支持，使得更多模型可以在Mac上高效運行。

11. 推理擴展模型的出現(xiàn)

推理擴展模型，例如OpenAI的o1和o3，通過在推理階段花費更多計算資源來解決更復雜的問題，代表了LLM架構的進一步發(fā)展。

12. 中國LLM的快速發(fā)展

DeepSeek v3等中國模型的出現(xiàn)，表明中國在LLM領域取得了顯著進展，其訓練成本相對較低。

13. LLM的環(huán)境影響：好壞參半

LLM的效率提高降低了單個提示的能源消耗，但大規(guī)模基礎設施建設仍對環(huán)境造成重大影響。

14. “Slop” 成為新術語

“Slop”被用來形容那些未經(jīng)請求或審查的低質(zhì)量AI生成內(nèi)容，體現(xiàn)了對AI生成內(nèi)容質(zhì)量控制的需求。

15. 合成訓練數(shù)據(jù)的有效性

利用合成數(shù)據(jù)進行模型訓練越來越普遍，這被證明是一種有效的提高模型性能的方法。

16. LLM 的使用難度增加

LLM 的功能越來越強大，但其使用也變得更加復雜，需要用戶具備更深入的理解和經(jīng)驗。

17. 知識差距的擴大

公眾對LLM的了解程度存在巨大差異，需要更多努力來彌合這一差距。

18. 對LLM的批判性思考

LLM 既有優(yōu)點也有缺點，需要批判性地看待其應用，避免負面影響。

總而言之，2024年是LLM領域充滿活力的一年，取得了顯著的進步，但也面臨著一些挑戰(zhàn)。未來，LLM 的發(fā)展方向將更加注重效率、多模態(tài)能力、可靠性和可解釋性，以及更負責任的應用。

聯(lián)系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構