如何提升大模型推理能力

AIGC動態歡迎閱讀

原標題：如何提升大模型推理能力
關鍵字：模型,語言,報告,能力,文獻
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：清熙
一．大模型的推理能力
現在的大模型是茶壺里煮餃子，從預訓練中學習了很多，但簡單粗暴的采樣推理的方式卻限制了它的能力輸出。
正如在降低大模型幻覺的必由之路一文中筆者建議的：大模型技術還在日新月異的發展，即使大模型永遠不會停止幻覺，在未來，專業系統會驗證LLM輸出，針對特定環境優化的人工智能工具將部分取代今天的通用模型。
其中最重要的改進方向就是，通過引導大模型學習人類特定的先驗，更好地理解“范疇的結構和關系”，優化范疇內和跨范疇采樣算法，將幻覺降低到“不可見”范圍，盡管很難消除為零。
近期大模型行業的動向也印證了筆者這一判斷。時代周刊全球百大AI人物& Cohere創始人接受采訪時講“AI模型還沒有真正的問題解決能力，是因為訓練語料里面很少有記錄人類推理的過程。所以像Cohere, OpenAI 和Anthropic 等大模型領先的公司都在想盡辦法搜集展示人類推理的數據”。
筆者去年年初在 ChatGPT是第一個真正意義的人工通用智能中闡釋過，目前研究已經證明GPT對知識有強大的記憶能力。而增強GPT推理能力的方法：a) 提供提示語或提示樣本 b) 預訓練中引入代碼

原文鏈接：如何提升大模型推理能力