<rt id="mgyec"></rt>

百萬(wàn)tokens僅需8毛，不蒸餾造出世界一流大模型，豆包全新1.5Pro不走捷徑

AIGC動(dòng)態(tài)4個(gè)月前發(fā)布機(jī)器之心

485 0 0

超低價(jià)格就能享受到的頂級(jí)模型！

原標(biāo)題：百萬(wàn)tokens僅需8毛，不蒸餾造出世界一流大模型，豆包全新1.5Pro不走捷徑
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：11209字

豆包大模型1.5Pro版本重磅發(fā)布：性能大幅提升，價(jià)格更低

臨近春節(jié)，國(guó)內(nèi)AI廠商競(jìng)爭(zhēng)激烈，豆包大模型率先發(fā)布1.5Pro版本，帶來(lái)多項(xiàng)重大升級(jí)，為開發(fā)者和用戶帶來(lái)福音。

核心升級(jí)：性能全面提升，成本大幅降低
1.5Pro版本包含基礎(chǔ)模型Doubao-1.5-pro (32k和256k上下文長(zhǎng)度)、新版視覺理解模型Doubao-1.5-vision-pro和實(shí)時(shí)語(yǔ)音模型Doubao-1.5-realtime-voice-pro，以及輕量級(jí)模型Doubao-1.5-lite。該版本在多項(xiàng)公開評(píng)測(cè)基準(zhǔn)上達(dá)到全球領(lǐng)先水平，基礎(chǔ)能力和多模態(tài)能力均顯著增強(qiáng)，且完全基于自主數(shù)據(jù)生產(chǎn)體系訓(xùn)練，未采用任何其他模型生成的數(shù)據(jù)。
在成本方面，1.5Pro版本性價(jià)比極高。32k上下文長(zhǎng)度的模型處理100萬(wàn)token僅需8毛錢，輕量級(jí)模型Doubao-1.5-lite更便宜。火山引擎提供API服務(wù)的Doubao-1.5-pro擁有高達(dá)50%的毛利率。
實(shí)測(cè)效果：邏輯推理、多模態(tài)能力卓越
機(jī)器之心對(duì)1.5Pro版本進(jìn)行了實(shí)測(cè)，其在邏輯推理題（真話者與說(shuō)謊者）、數(shù)學(xué)題（高考題）和梗圖理解等方面表現(xiàn)出色，準(zhǔn)確率高且速度快。基于Doubao-1.5-realtime-voice-pro的實(shí)時(shí)語(yǔ)音功能，表現(xiàn)力也得到質(zhì)的飛躍，能夠?qū)崿F(xiàn)擬人化、情緒理解和情感表達(dá)。
技術(shù)創(chuàng)新：稀疏MoE架構(gòu)與高效訓(xùn)練推理
Doubao-1.5-pro采用稀疏MoE架構(gòu)，在保持模型性能的同時(shí)降低了算力需求。團(tuán)隊(duì)從稀疏度Scaling Law出發(fā)，確定性能和效率平衡的稀疏比例，實(shí)現(xiàn)了“小打大”，性能杠桿達(dá)到7倍，超越了LLaMA-3.1-405B等超大規(guī)模稠密預(yù)訓(xùn)練模型。
在訓(xùn)練階段，團(tuán)隊(duì)設(shè)計(jì)了一套高度自主的數(shù)據(jù)生產(chǎn)體系，深度融合了高效標(biāo)注與模型自提升技術(shù)，沒有使用任何第三方模型生成的數(shù)據(jù)。在SFT、Reward Model和RL階段也進(jìn)行了技術(shù)創(chuàng)新與優(yōu)化，充分發(fā)揮真實(shí)數(shù)據(jù)的優(yōu)勢(shì)。
在推理階段，團(tuán)隊(duì)針對(duì)不同計(jì)算象限進(jìn)行高效結(jié)合異構(gòu)硬件與不同的低精度優(yōu)化策略，實(shí)現(xiàn)了低延遲與吞吐量提升并舉，降低了總成本。
全模態(tài)能力升級(jí)：視覺和語(yǔ)音交互能力增強(qiáng)
在視覺多模態(tài)方面，通過(guò)技術(shù)升級(jí)，模型在視覺推理、文字文檔識(shí)別、細(xì)粒度信息理解和指令遵循等方面能力顯著增強(qiáng)，原生支持任意分辨率和長(zhǎng)寬比的圖片輸入。在語(yǔ)音模態(tài)方面，團(tuán)隊(duì)提出了新的端到端Speech2Speech框架，實(shí)現(xiàn)了語(yǔ)音理解生成端到端，在語(yǔ)音對(duì)話效果上相比傳統(tǒng)方式有質(zhì)的飛躍。
開發(fā)者友好：低門檻、高效率的開發(fā)平臺(tái)
豆包大模型已在豆包APP灰度上線，開發(fā)者可在火山引擎直接調(diào)用API。火山引擎進(jìn)一步優(yōu)化了基于豆包大模型開發(fā)和部署應(yīng)用的流程，降低了開發(fā)門檻，讓開發(fā)者更輕松地將創(chuàng)意變成產(chǎn)品和服務(wù)。豆包大模型的不同版本可滿足不同應(yīng)用場(chǎng)景的需求。
未來(lái)展望：深度思考模式與智能體應(yīng)用
豆包大模型團(tuán)隊(duì)正在研發(fā)“Doubao深度思考模式”，其推理模型Doubao-1.5-pro-AS1-Preview在AIME基準(zhǔn)上超過(guò)o1-preview和o1。團(tuán)隊(duì)認(rèn)為，豆包大模型已為“智能體之年”做好準(zhǔn)備，將在AI應(yīng)用爆發(fā)中占據(jù)主導(dǎo)地位。