原標(biāo)題：“agent”一詞令人沮喪，GPT-4級模型已不值一提，大神程序員盤點(diǎn)「大模型的2024」
文章來源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：28401字

2024年大語言模型（LLM）領(lǐng)域回顧：驚喜與挑戰(zhàn)并存

2024年被業(yè)內(nèi)人士稱為“AGI元年”，大模型領(lǐng)域發(fā)生了翻天覆地的變化。本文總結(jié)了Simon Willison在《Things we learned about LLMs in 2024》一文中對2024年LLM領(lǐng)域的關(guān)鍵發(fā)現(xiàn)，并對其進(jìn)行了精編。

1. GPT-4的護(hù)城河被突破

2023年，GPT-4的性能一度遙不可及。但2024年，多個(gè)組織的模型在Chatbot Arena Leaderboard上的得分超過了GPT-4-0314，例如谷歌的Gemini 1.5 Pro，以及Anthropic的Claude 3系列。這標(biāo)志著GPT-4級的模型不再是少數(shù)機(jī)構(gòu)的專利，訓(xùn)練此類模型已不再是特別值得一提的成就。

2. 筆記本電腦也能運(yùn)行GPT-4級模型

得益于訓(xùn)練和推理性能的顯著提升，如今即使是普通的64GB內(nèi)存筆記本電腦也能運(yùn)行多個(gè)GPT-4級模型，這在2023年是不可想象的。Meta的Llama 3.2系列模型也展現(xiàn)了在較小尺寸下取得的令人驚喜的效果。

3. LLM價(jià)格大幅下降

2024年，LLM的使用成本急劇下降，這主要?dú)w功于競爭加劇和效率提高。各家模型提供商的價(jià)格戰(zhàn)使得使用先進(jìn)模型的成本降低了數(shù)十倍，這對于個(gè)人用戶和小型企業(yè)來說是個(gè)好消息，也降低了LLM對環(huán)境的影響。

4. 多模態(tài)模型的興起

多模態(tài)大語言模型（MLLM）在2024年得到廣泛應(yīng)用，幾乎所有模型提供商都推出了支持圖像、音頻和視頻輸入的模型。多模態(tài)能力極大地拓展了LLM的應(yīng)用范圍，也為用戶提供了更豐富的交互方式。

5. 語音和實(shí)時(shí)視頻模式的應(yīng)用

語音和實(shí)時(shí)視頻模式的出現(xiàn)，讓科幻照進(jìn)現(xiàn)實(shí)。OpenAI的GPT-4o和谷歌的Gemini都支持音頻輸入和輸出，并能進(jìn)行逼真的語音對話。實(shí)時(shí)視頻模式也開始出現(xiàn)，用戶可以與模型實(shí)時(shí)分享相機(jī)畫面并進(jìn)行交流。

6. Prompt驅(qū)動的應(yīng)用生成成為商品

通過編寫合適的prompt，LLM可以生成完整的交互式應(yīng)用，這一能力在2024年得到廣泛應(yīng)用。許多團(tuán)隊(duì)都構(gòu)建了類似的系統(tǒng)，這項(xiàng)功能已成為一種商品，可以有效地與所有領(lǐng)先的模型進(jìn)行競爭。

7. 強(qiáng)大模型的普及與付費(fèi)模式的轉(zhuǎn)變

2024年，強(qiáng)大的模型在幾個(gè)月內(nèi)就變得普及，OpenAI和Anthropic都向所有用戶免費(fèi)提供了其強(qiáng)大的模型。然而，免費(fèi)使用SOTA模型的時(shí)代可能已經(jīng)結(jié)束，付費(fèi)訂閱模式將成為主流。

8. 智能體（Agent）的局限性

盡管“智能體”概念備受關(guān)注，但其定義仍然模糊，實(shí)際應(yīng)用也面臨挑戰(zhàn)，尤其是在應(yīng)對“輕信”（gullibility）問題上進(jìn)展甚微。

9. 自動評估的重要性

為LLM驅(qū)動的系統(tǒng)編寫優(yōu)秀的自動評估，是構(gòu)建有用應(yīng)用的關(guān)鍵技能。擁有強(qiáng)大的評估套件能夠加快模型迭代，并構(gòu)建更可靠、更有用的產(chǎn)品功能。

10. 蘋果的MLX庫與Apple Intelligence的差距

蘋果公司的MLX庫為Apple Silicon帶來了強(qiáng)大的模型運(yùn)行能力，但其自家的Apple Intelligence功能卻令人失望，與其他領(lǐng)先的LLM相比差距明顯。

11. 推理擴(kuò)展模型的興起

OpenAI的o1模型開辟了一種新的模型擴(kuò)展方法：通過在推理上花費(fèi)更多計(jì)算量來解決更難的問題，而不是單純增加訓(xùn)練計(jì)算量。

12. 中國在LLM訓(xùn)練方面的進(jìn)展

DeepSeek v3等模型的出現(xiàn)，顯示出中國在LLM訓(xùn)練方面的顯著進(jìn)展，尤其是在訓(xùn)練效率優(yōu)化方面，這可能與美國對中國出口GPU的限制有關(guān)。

13. LLM環(huán)境影響的改善

模型效率的提高降低了運(yùn)行prompt的能耗和對環(huán)境的影響，這消除了部分人對LLM環(huán)境影響的擔(dān)憂。

14. 數(shù)據(jù)中心建設(shè)的必要性

LLM成本的下降引發(fā)了對未來數(shù)據(jù)中心建設(shè)必要性的討論，過度的基礎(chǔ)設(shè)施建設(shè)可能會造成資源浪費(fèi)和環(huán)境問題。

15. “泔水”（Slop）時(shí)代的到來

2024年，“泔水”一詞被用來形容人工智能生成的未經(jīng)請求和未經(jīng)審查的內(nèi)容，這突顯了濫用生成式人工智能的風(fēng)險(xiǎn)。

16. 合成訓(xùn)練數(shù)據(jù)的有效性

合成訓(xùn)練數(shù)據(jù)在LLM訓(xùn)練中發(fā)揮著越來越重要的作用，它可以幫助引導(dǎo)模型走向正確的方向，并提高訓(xùn)練效率。

17. 有效利用LLM的挑戰(zhàn)

雖然LLM功能強(qiáng)大，但要充分利用它們并非易事，需要用戶具備深入的理解和豐富的經(jīng)驗(yàn)，才能避免其陷阱。

18. 認(rèn)知差距的擴(kuò)大

公眾對LLM的認(rèn)知存在巨大差距，這可能會影響到這項(xiàng)技術(shù)對社會的積極影響。

19. 對LLM的批判性思考

LLM值得被批判性地審視，需要對環(huán)境影響、數(shù)據(jù)可靠性、不正當(dāng)應(yīng)用等問題進(jìn)行討論，并找到解決方案，以確保其正面應(yīng)用大于負(fù)面影響。

總而言之，2024年是LLM領(lǐng)域發(fā)展迅猛的一年，既帶來了令人驚喜的進(jìn)步，也帶來了新的挑戰(zhàn)。未來，如何更好地利用LLM，并解決其局限性和潛在風(fēng)險(xiǎn)，將是業(yè)界需要持續(xù)關(guān)注和努力的方向。

聯(lián)系作者

文章來源：人工智能學(xué)家
作者微信：
作者簡介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)