LLM推理性能受輸出格式影響，JSON最嚴重

AIGC動態歡迎閱讀

原標題：LLM推理性能受輸出格式影響，JSON最嚴重
關鍵字：格式,自然語言,模型,答案,問題
文章來源：量子位
內容字數：0字

內容摘要：

一水 發自 凹非寺量子位 | 公眾號 QbitAI輸出格式不同，竟然還能影響大模型發揮？！
兩種提示下讓大語言模型（LLMs）解同一道數學題，問題如下：
Eliza每周工作的前40小時，每小時的工資是10美元，加班費每小時x1.2。如果Eliza這周工作了45小時，她這周的收入是多少？
思維鏈prompt：“按照以下格式提供輸出，逐步推理：…回答：最終答案是…”。
格式限制prompt：“按照以下有效的JSON格式提供輸出：…（具體JSON格式見圖）“。
正確答案是460，可以看出，思維鏈（讓模型一步步思考）奏效，格式限制（“以JSON格式輸出”）卻失敗了！！
這是大學和Appier AI Research新研究中的一幕，他們發現——
格式限制這玩意兒會降低LLMs的推理能力，且限制越嚴推理越差。（主打一個叛逆）
不過好消息是，能治。
他們發現，最佳解決方案是搞個“二次轉換”（倒爺是吧），即LLMs首先用自然語言回答問題，然后再將答案轉換為目標格式。
在這個過程中，他們對比了GPT-3.5 Turbo、Claude 3 Haiku、Gemini 1.5 Flash等不同模型在生成不

原文鏈接：LLM推理性能受輸出格式影響，JSON最嚴重

聯系作者

文章來源：量子位
作者微信：
作者簡介：