學術前沿 | Transformer究竟如何推理？基于樣例還是基于規則

AIGC動態歡迎閱讀

原標題：學術前沿 | Transformer究竟如何推理？基于樣例還是基于規則
關鍵字：模型,加法,解讀,報告,測試
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：北京大學人工智能研究院
導讀本文是對發表于ICML 2024的論文Case-based or rule-based: How Do Transformers Do the Math?的解讀。文章第一作者為來自北京大學物理學院、即將加入人工智能研究院讀博的胡逸。通訊作者為北京大學人工智能研究院助理教授張牧涵。論文地址：（點擊下方閱讀原文）
https://arxiv.org/abs/2402.17709
項目主頁:
https://github.com/GraphPKU/Case_or_Rule01Case-based or rule-based?盡管如 ChatGPT 這樣的大語言模型（Large Language Models, LLMs）已經在各種復雜任務中展現出令人驚艷的性能，它們在處理一些對人類來說十分簡單的數學推理問題時仍會面臨困難，例如長整數加法。
人類可以輕松地學習加法的基本規則，例如豎式加法，并將其應用于任意長度的新的加法問題，但 LLMs 卻難以做到這一點。相反，它們可能會依賴于訓練語料庫中見過的相似樣例來幫助解決問題。張牧涵團隊的 ICML 2024 論文深刻

原文鏈接：學術前沿 | Transformer究竟如何推理？基于樣例還是基于規則

聯系作者

文章來源：人工智能學家
作者微信：AItists
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構