藏不住了！OpenAI的推理模型有時用中文「思考」

讓我們說中文！

原標題：藏不住了！OpenAI的推理模型有時用中文「思考」
文章來源：機器之心
內容字數：4980字

OpenAI o1 的“中文碎碎念”：AI 模型為何切換語言思考？

近日，OpenAI 的推理模型 o1 出現了一個奇特的現象：在用英文提問的情況下，它會在內部推理過程中切換到中文“碎碎念”，引發了AI領域的廣泛討論。類似現象也出現在谷歌的 Gemini 和 ChatGPT 等其他模型上，它們會在推理過程中隨機插入其他語言的單詞或短語。

現象描述：模型的“多語言思考”
o1 模型在解決英文編碼題時，會先用英語進行部分推理，然后突然切換到中文進行“草稿”式的思考，最終輸出結果仍然是英文。類似地，Gemini 會插入古吉拉特語單詞，ChatGPT 會使用對話中未出現的語言來命名對話。這種現象不僅發生在語言模型中，多模態模型 GPT-4o 也出現了類似的“讓我們說中文？”的情況。
可能原因：訓練數據與語言效率
專家們提出了幾種可能的解釋。一種觀點認為，這可能是由于訓練數據中中文占比過高導致的。許多 AI 模型的訓練數據來自第三方數據標注服務，而這些服務很多位于中國，因此中文數據量可能較大。此外，中文的象形文字系統可能在表達某些概念時比英文更簡潔，從而節省了模型的 token 使用，提高了推理效率。一些工程師認為，AI 選擇使用中文可能是因為在某些表達上更經濟，可以直接解概念壓縮包，從而在同等 token 下進行更深入的思考。
另一種觀點：語言選擇與模型認知
然而，也有專家認為將責任完全歸咎于訓練數據是不夠全面的。o1 也可能切換到其他語言，這表明模型可能是在選擇最順手的語言來解題，或者這只是模型的“幻覺”。阿爾伯塔大學助理教授 Matthew Guzdial 認為，模型并不理解語言本身，只是處理 tokens，因此語言切換可能是訓練過程中建立的特殊關聯。
類比人類：雙語思維與最佳場景
Hugging Face 工程師 Tiezhen Wang 將模型的語言切換類比于人類的雙語思維：大腦會根據場景自然選擇最合適的語言。程序員選擇編程語言也是類似的道理，不同的語言適用于不同的場景。這啟示我們，訓練 AI 時也應該讓它接觸多種語言，學習不同文化的思維方式，從而使其更全面和公平。
結論：意外的驚喜還是潛在問題？
許多專家認為，如果語言切換對思考有幫助，且最終輸出結果符合預期，那么這并非 bug，反而可能是一種“以我為主，為我所用”的智能涌現。但同時也需要進一步思考，最佳的 AI 思考方式是否應該與具體語言無關。

總而言之，AI 模型在推理過程中切換語言的現象是一個復雜的問題，其背后可能涉及訓練數據、語言效率、模型認知等多個方面。這促使我們更深入地思考 AI 的學習機制和智能涌現，以及如何構建更全面、更公平的 AI 系統。