如何提升大模型推理能力

AIGC動態(tài)歡迎閱讀

原標題：如何提升大模型推理能力
關鍵字：模型,語言,報告,能力,文獻
文章來源：人工智能學家
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

來源：清熙
一．大模型的推理能力
現(xiàn)在的大模型是茶壺里煮餃子，從預訓練中學習了很多，但簡單粗暴的采樣推理的方式卻限制了它的能力輸出。
正如在降低大模型幻覺的必由之路一文中筆者建議的：大模型技術(shù)還在日新月異的發(fā)展，即使大模型永遠不會停止幻覺， 在未來，專業(yè)系統(tǒng)會驗證LLM輸出，針對特定環(huán)境優(yōu)化的人工智能工具將部分取代今天的通用模型。
其中最重要的改進方向就是，通過引導大模型學習人類特定的先驗，更好地理解“范疇的結(jié)構(gòu)和關系”，優(yōu)化范疇內(nèi)和跨范疇采樣算法，將幻覺降低到“不可見”范圍，盡管很難消除為零。
近期大模型行業(yè)的動向也印證了筆者這一判斷。時代周刊全球百大AI人物& Cohere創(chuàng)始人接受采訪時講“AI模型還沒有真正的問題解決能力，是因為訓練語料里面很少有記錄人類推理的過程。所以像Cohere, OpenAI 和Anthropic 等大模型領先的公司都在想盡辦法搜集展示人類推理的數(shù)據(jù)”。
筆者去年年初在 ChatGPT是第一個真正意義的人工通用智能中闡釋過，目前研究已經(jīng)證明GPT對知識有強大的記憶能力。而增強GPT推理能力的方法：a) 提供提示語或提示樣本 b) 預訓練中引入代碼

原文鏈接：如何提升大模型推理能力

聯(lián)系作者

文章來源：人工智能學家
作者微信：
作者簡介：