AIGC動態歡迎閱讀
原標題:3B模型新SOTA!開源AI讓日常調用不同大模型更簡單
關鍵字:模型,節點,語言,工作,任務
文章來源:量子位
內容字數:0字
內容摘要:
NEXA AI 投稿量子位 | 公眾號 QbitAI大模型,大,能力強,好用!
但單一大模型在算力、數據和能耗方面面臨巨大的限制,且消耗大量資源。
而且目前最強大的模型大多為閉源,對AI開發的速度、安全性和公平性有所限制。
AI大模型的未來發展趨勢,需要怎么在單一大模型和多個專門化小模型之間做平衡和選擇?
針對如此現狀,兩位斯坦福校友創辦的NEXA AI,提出了一種新的方法:
采用functional token整合了多個開源模型,每個模型都針對特定任務進行了優化。
他們開發了一個名叫Octopus v4的模型,利用functional token智能地將用戶查詢引導至最合適的垂直模型,并重新格式化查詢以實現最佳性能。
介紹一下,Octopus v4是前代系列模型的演化,擅長選擇和參數理解與重組。
此外,團隊還探索了使用圖作為一種多功能數據結構,有效地協調多個開源模型,利用Octopus模型和functional token的能力。
通過激活約100億參數的模型,Octopus v4在同級別模型中實現了74.8的SOTA MMLU分數。
Octopus系列模型這里要重點介紹一下Octo
原文鏈接:3B模型新SOTA!開源AI讓日常調用不同大模型更簡單
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...