阿里巴巴發布了Marco-o1!
2024中國生成式AI大會(上海站)即將舉辦
根據大會預告,智猩猩共同主辦的2024中國生成式AI大會將于12月5日至6日在上海舉行。此次大會將匯聚眾多行業專家,包含北大(臨港)大模型對齊中心執行主任徐驊、騰訊優圖實驗室天衍研究中心負責人吳賢、銀河通用機器人合伙人張直政等30多位嘉賓,分享最新的研究成果與實踐經驗,歡迎大家積極報名參加。
阿里巴巴全新開源推理模型Marco-o1
阿里巴巴國際數字商業部的MarcoPolo團隊近期發布了全新的開源推理模型Marco-o1。該模型不僅專注于標準答案領域,更致力于解決開放性問題,標志著AI技術的進一步進化。Marco-o1通過思維鏈微調、蒙特卡羅樹搜索和反思機制等創新技術,使AI在處理復雜問題時更加得心應手。
技術亮點全解析
Marco-o1的核心優勢體現在以下幾個方面:
- 思維鏈微調:團隊使用開源CoT數據集和自研合成數據對基礎模型進行全參數微調,打造出Marco-o1-CoT。
- MCTS解決方案擴展:將大語言模型與蒙特卡羅樹搜索結合,利用模型輸出的置信度來指導搜索,擴展了解決方案空間。
- 創新推理策略:實現全新的推理行動策略和反思機制,探索不同的行動粒度并引導模型進行自我反思。
- 突破性翻譯應用:首次將大型推理模型應用于機器翻譯,探索多語言翻譯領域的推理時間擴展規律。
實力有多強?數據說話
在Qwen2-7B-Instruct的基礎上,研究團隊通過精心設計的數據集進行微調,實驗結果顯示:MGSM英文數據集準確率提升6.17%,中文數據集提升5.60%。特別是在翻譯任務上,Marco-o1展現出優秀的表現,能優雅地翻譯口語化表達,提升了翻譯的自然性。
開箱即用,快速上手指南
想要體驗Marco-o1的強大功能,只需幾行代碼即可直接加載模型。若想使用vLLM加速推理,可輕松運行相關腳本。
結語
Marco-o1的發布為AI的推理能力開辟了新天地,不僅能解決標準問題,更重要的是能夠處理那些沒有標準答案的開放性問題。這是AI邁向真正智能的重要一步,Marco-o1的開源將為整個AI社區帶來新的可能性。
聯系作者
文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下矩陣賬號之一,聚焦大模型開啟的通用人工智能浪潮。
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...