ChatGPT無法取代人類程序員！ IEEE 35頁論文測出困難編碼正確率僅為0.66%

AIGC動態歡迎閱讀

原標題：ChatGPT無法取代人類程序員！ IEEE 35頁論文測出困難編碼正確率僅為0.66%
關鍵字：代碼,問題,難度,復雜度,語言
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】6月，IEEE刊登了一篇對ChatGPT代碼生成任務進行系統評估的論文，數據集就是程序員們最愛的LeetCode題庫。研究揭示了LLM在代碼任務現的潛在問題和能力局限，讓我們能夠對模型做出進一步改進，并逐漸了解使用ChatGPT寫代碼的最佳姿勢。有了ChatGPT，還需要人類程序猿編碼嗎？
上個月，一項發表在IEEE TSE期刊（Transactions on Software Engineering）上的研究評估了ChatGPT所生成的代碼在功能性、復雜性和安全性方面的表現。
結果顯示，ChatGPT生成可用代碼的能力差異很大。
其成功率從0.66%到89%不等，這主要取決于任務的難度、編程語言等多種因素。
論文地址：https://ieeexplore.ieee.org/document/10507163
具體來說，研究人員測試了GPT-3.5在5種編程語言（C、C++、Java、JavaScript和Python）中，解決LeetCode測試平臺上的728個編碼問題，以及應對18個CWE（常見缺陷枚舉）場景的能力。
雖然在某些情況下，A

原文鏈接：ChatGPT無法取代人類程序員！ IEEE 35頁論文測出困難編碼正確率僅為0.66%