IDC最新報(bào)告，7大維度11家大模型廠商比拼，唯一全優(yōu)是誰？

AIGC動(dòng)態(tài)11個(gè)月前發(fā)布機(jī)器之心

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：IDC最新報(bào)告，7大維度11家大模型廠商比拼，唯一全優(yōu)是誰？
關(guān)鍵字：報(bào)告,模型,能力,維度,廠商
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心原創(chuàng)
作者：陳萍、小舟如果考試題太簡單，學(xué)渣也能拿一百昏。在 AI 圈，我們應(yīng)該拿怎樣的「試卷」來檢驗(yàn)一直處于流量 C 位的大模型的真實(shí)水平？是高考題嗎？當(dāng)然不是！
也有些人認(rèn)為，在各種 Benchmark 榜單上，誰排第一誰最強(qiáng)。
其實(shí)并非如此，有時(shí)候，越「權(quán)威」的榜單就越容易被策略性刷榜。
因此，模型的「強(qiáng)」不能只是在某個(gè) Benchmark 上排名第一，而是要在多個(gè)維度上都很能打。
近日，全球領(lǐng)先的國際數(shù)據(jù)公司（IDC）最新發(fā)布的大模型實(shí)測(cè)報(bào)告《中國大模型市場主流產(chǎn)品評(píng)估，2024》從基礎(chǔ)能力到應(yīng)用能力 7 大維度對(duì) 11 家大模型廠商的 16 款市場主流產(chǎn)品進(jìn)行實(shí)測(cè)。
報(bào)告顯示，百度文心大模型整體競爭力位于領(lǐng)先水平，產(chǎn)品能力處于第一梯隊(duì)，是唯一一家在 7 大維度上均為優(yōu)勢(shì)廠商的企業(yè)。文心一言、文心一格在問答理解類、推理類、創(chuàng)作表達(dá)類、數(shù)學(xué)類、代碼類等基礎(chǔ)能力，toC 通用場景類、toB 特定行業(yè)類等應(yīng)用能力等 7 大維度均具備領(lǐng)先優(yōu)勢(shì)。其他評(píng)測(cè)廠商中，阿里獲 6 項(xiàng)優(yōu)勢(shì)維度，OpenAI GPT-4 和商湯分獲 5 項(xiàng)。IDC《中國大模型市場主流產(chǎn)品評(píng)估，2024》