AIGC動態歡迎閱讀
原標題:OpenAI開啟推理算力新Scaling Law,AI PC和CPU的機會來了
關鍵字:向量,模型,解讀,政策,英特爾
文章來源:量子位
內容字數:0字
內容摘要:
夢晨 金磊 發自 凹非寺量子位 | 公眾號 QbitAIOpenAI的新模型o1,可謂是開啟了Scaling Law的新篇章——
隨著更多的強化學習(訓練時計算)和更多的思考時間(測試時計算),o1在邏輯推理能力上已經達到了目前天花板級別。
尤其是在北大給出的一項評測中,o1-mini模型的跑分比o1-preview還要高:
這就展示一種新的思路和可能性——
小模型專門加強推理能力,放棄在參數中存儲大量世界知識。
OpenAI科學家趙盛佳給出的解釋是:
o1-mini是高度專業化的模型,只關注少部分能力可以更深入。
但與此同時,也出現了另一個問題:
若是想讓AI同時掌握高階推理能力和大量知識的任務應該怎么辦?
于是乎,技術的聚光燈再次對焦到了大模型和RAG的組合。
具體而言,向量數據庫讓大模型能夠快速有效地檢索和處理大量的向量數據,為大模型提供了更豐富和準確的信息,從而增強了模型的整體性能和應用范圍。
可以說是讓大模型有了“好記憶”,減少出現答非所問的情況。
而且這一次,小模型專業化的新趨勢還對RAG中的向量數據庫提出了更高的要求:
一方面是小模型存儲的知識少了,對于外部知識存儲和檢索
原文鏈接:OpenAI開啟推理算力新Scaling Law,AI PC和CPU的機會來了
聯系作者
文章來源:量子位
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...