2024年，大型語(yǔ)言模型的世界發(fā)生了很多事情。以下是我們?cè)谶^(guò)去一年中關(guān)于這個(gè)領(lǐng)域的一些發(fā)現(xiàn)，以及我對(duì)關(guān)鍵主題和關(guān)鍵時(shí)刻的嘗試識(shí)別。\x0a這是對(duì)2023年的評(píng)論的續(xù)篇。

原標(biāo)題：這是2024年我們對(duì)LLMs所學(xué)到的東西
文章來(lái)源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：27624字

2024年大型語(yǔ)言模型(LLM)領(lǐng)域回顧：關(guān)鍵進(jìn)展與趨勢(shì)

本文總結(jié)了Simon Willison在其2024年12月31日博客文章中對(duì)大型語(yǔ)言模型(LLM)領(lǐng)域年度回顧的要點(diǎn)。文章涵蓋了LLM在過(guò)去一年中的顯著進(jìn)步、關(guān)鍵趨勢(shì)以及一些值得關(guān)注的挑戰(zhàn)。

1. GPT-4的霸主地位被打破

2023年，GPT-4的性能領(lǐng)先其他模型，但2024年情況發(fā)生了巨大變化。多個(gè)組織的模型超越了GPT-4，例如Google的Gemini 1.5 Pro、Anthropic的Claude 3系列以及其他來(lái)自阿里巴巴、Meta、亞馬遜等公司的模型。Chatbot Arena排行榜上，GPT-4已跌出前列，這標(biāo)志著LLM領(lǐng)域的競(jìng)爭(zhēng)日益激烈。

2. LLM的本地化運(yùn)行成為可能

2024年，一些GPT-4級(jí)別的模型可以在高端個(gè)人電腦上運(yùn)行，例如64GB內(nèi)存的MacBook Pro。這歸功于模型效率的顯著提高，例如Meta的Llama 3.2模型，即使在iPhone上也能運(yùn)行。這表明LLM的應(yīng)用范圍將進(jìn)一步擴(kuò)大。

3. LLM成本大幅下降

由于競(jìng)爭(zhēng)加劇和效率提升，使用一流LLM的成本急劇下降。與2023年相比，2024年使用各種模型的成本降低了數(shù)十倍，這使得LLM的應(yīng)用更加經(jīng)濟(jì)實(shí)惠，并降低了其環(huán)境影響。

4. 多模態(tài)LLM的興起

多模態(tài)LLM，特別是支持圖像、音頻和視頻處理的模型，在2024年得到了廣泛發(fā)展。各大公司紛紛推出各自的多模態(tài)模型，使得LLM的應(yīng)用場(chǎng)景更加豐富。

5. 語(yǔ)音和實(shí)時(shí)視頻功能的突破

2024年，語(yǔ)音交互和實(shí)時(shí)視頻處理功能成為現(xiàn)實(shí)。ChatGPT和Gemini等模型都具備了這些功能，使得LLM與用戶(hù)的交互更加自然和便捷。

6. 基于提示的交互式應(yīng)用的興起

LLM可以生成交互式應(yīng)用程序，例如使用Claude Artifacts或GitHub Spark。這種基于提示驅(qū)動(dòng)的定制界面功能強(qiáng)大且易于構(gòu)建，預(yù)計(jì)將在未來(lái)得到廣泛應(yīng)用。

7. 最佳模型的免費(fèi)訪問(wèn)短暫

在2024年的幾個(gè)月里，一些頂尖的LLM曾免費(fèi)向公眾開(kāi)放，但這種局面可能不會(huì)持續(xù)。OpenAI推出了付費(fèi)訂閱服務(wù)，表明免費(fèi)訪問(wèn)最佳模型的日子可能已經(jīng)結(jié)束。

8. “智能體”(Agents) 的發(fā)展緩慢

雖然“智能體”的概念備受關(guān)注，但其定義模糊，實(shí)際應(yīng)用仍面臨諸多挑戰(zhàn)，特別是易受性攻擊的問(wèn)題。

9. 評(píng)估(Evals) 的重要性凸顯

自動(dòng)評(píng)估對(duì)于LLM系統(tǒng)的開(kāi)發(fā)和改進(jìn)至關(guān)重要。良好的評(píng)估套件可以幫助開(kāi)發(fā)者更快地迭代和改進(jìn)模型，構(gòu)建更可靠和有用的應(yīng)用程序。

10. 蘋(píng)果的MLX庫(kù)表現(xiàn)出色

蘋(píng)果的MLX庫(kù)為Apple Silicon設(shè)備提供了強(qiáng)大的LLM運(yùn)行支持，使得更多模型可以在Mac上高效運(yùn)行。

11. 推理擴(kuò)展模型的出現(xiàn)

推理擴(kuò)展模型，例如OpenAI的o1和o3，通過(guò)在推理階段花費(fèi)更多計(jì)算資源來(lái)解決更復(fù)雜的問(wèn)題，代表了LLM架構(gòu)的進(jìn)一步發(fā)展。

12. 中國(guó)LLM的快速發(fā)展

DeepSeek v3等中國(guó)模型的出現(xiàn)，表明中國(guó)在LLM領(lǐng)域取得了顯著進(jìn)展，其訓(xùn)練成本相對(duì)較低。

13. LLM的環(huán)境影響：好壞參半

LLM的效率提高降低了單個(gè)提示的能源消耗，但大規(guī)模基礎(chǔ)設(shè)施建設(shè)仍對(duì)環(huán)境造成重大影響。

14. “Slop” 成為新術(shù)語(yǔ)

“Slop”被用來(lái)形容那些未經(jīng)請(qǐng)求或?qū)彶榈牡唾|(zhì)量AI生成內(nèi)容，體現(xiàn)了對(duì)AI生成內(nèi)容質(zhì)量控制的需求。

15. 合成訓(xùn)練數(shù)據(jù)的有效性

利用合成數(shù)據(jù)進(jìn)行模型訓(xùn)練越來(lái)越普遍，這被證明是一種有效的提高模型性能的方法。

16. LLM 的使用難度增加

LLM 的功能越來(lái)越強(qiáng)大，但其使用也變得更加復(fù)雜，需要用戶(hù)具備更深入的理解和經(jīng)驗(yàn)。

17. 知識(shí)差距的擴(kuò)大

公眾對(duì)LLM的了解程度存在巨大差異，需要更多努力來(lái)彌合這一差距。

18. 對(duì)LLM的批判性思考

LLM 既有優(yōu)點(diǎn)也有缺點(diǎn)，需要批判性地看待其應(yīng)用，避免負(fù)面影響。

總而言之，2024年是LLM領(lǐng)域充滿(mǎn)活力的一年，取得了顯著的進(jìn)步，但也面臨著一些挑戰(zhàn)。未來(lái)，LLM 的發(fā)展方向?qū)⒏幼⒅匦省⒍嗄B(tài)能力、可靠性和可解釋性，以及更負(fù)責(zé)任的應(yīng)用。

聯(lián)系作者

文章來(lái)源：人工智能學(xué)家
作者微信：
作者簡(jiǎn)介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)