三個臭皮匠頂個諸葛亮？可能是真的，已證實混合多個小模型性能比肩GPT3.5

AIGC動態歡迎閱讀

原標題：三個臭皮匠頂個諸葛亮？可能是真的，已證實混合多個小模型性能比肩GPT3.5
關鍵字：人工智能,模型,報告,系統,參數
文章來源：機器之心
內容字數：5617字

內容摘要：

機器之心報道
編輯：rome對模型參數量的迷信、執念也許可以放下了，混合多個小模型也是未來構造對話型 AI 的一個光明的方向。
在對話型人工智能（AI）研究中，存在趨勢即朝著開發參數更多的模型方向發展，如 ChatGPT 等為代表的模型。盡管這些龐大的模型能夠生成越來越好的對話響應，但它們同時也需要大量的計算資源和內存。本文研究探討的問題是：一組小模型是否能夠協同達到與單一大模型相當或更好的性能？
本文介紹了一種創新而簡單的方法：混合。
作者展示了如果從一組小規模的對話型人工智能中隨機選擇回復，生成的對話型人工智能具有很強的性能和吸引力，可以勝過參數數量級大很多的系統。作者觀察到混合模型似乎具有 “最優” 的特征，通過在對話歷史上進行條件化響應，一個具有特定屬性的單一模型能夠學習其他系統的能力。可以為用戶提供更引人入勝和多樣化的回復和使用體驗。
作者通過在 CHAI 平臺上進行大規模 A/B 測試，證明了混合模型的有效性。在真實用戶的測試中，包含三個 6-13B 參數 LLM 的混合模型，勝過了 OpenAI 的 175B + 參數 ChatGPT。并且混合模型的用戶留存率顯著高于基于

原文鏈接：三個臭皮匠頂個諸葛亮？可能是真的，已證實混合多個小模型性能比肩GPT3.5

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺