大模型“腦回路”統一了？LLMs竟然能正確回答其他模型虛構的題目

AIGC動態歡迎閱讀

原標題：大模型“腦回路”統一了？LLMs竟然能正確回答其他模型虛構的題目
關鍵字：模型,問題,正確率,上下文,報告
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：夕小瑤科技說 原創
作者：謝年年
最近開源模型Llama3.1上線，其405B模型竟超越閉源GPT-4o，一夜之間成最強大模型！
然而榜首的位置還沒坐熱，僅隔一天，Mistral AI團隊發布Mistral Large 2 ，最強開源再易主！
大模型之間的競爭異常激烈,榜單的分數也是越刷越高，你解決不了的問題，對我來說so easy！比如問倒一眾模型的問題：3.9和3.11哪個大？Mistral Large 2模型居然答對了！
LLMs之間的規模和能力或許各不相同，但在chatgpt之后的LLMs，無論在架構、訓練方式、數據方面都高度統一：比如都使用僅解碼器的 transformer的結構，以及都有位置嵌入設計，預訓練語料庫由書籍、互聯網文本和代碼組成，使用基于隨機梯度下降（SGD）進行優化 ，以及在預訓練后進行指令調優和對齊的類似程序等等。
Salesforce AI團隊最近就發現：不同的大模型家族之間，無論是閉源代表GPT和Claude,還是開源代表Mistral和Llama 3在面對虛構的問題時展現出驚人的相似性！
團隊首先提示一個問題模型(QM)生成一個虛構的選擇題并指出

原文鏈接：大模型“腦回路”統一了？LLMs竟然能正確回答其他模型虛構的題目

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：