GPT-4完成正確率僅6%！北大等提出首個「多輪、多模態(tài)」PPT任務(wù)完成基準PPTC

AIGC動態(tài)歡迎閱讀

原標題：GPT-4完成正確率僅6%！北大等提出首個「多輪、多模態(tài)」PPT任務(wù)完成基準PPTC

關(guān)鍵字：模型,輪次,指令,任務(wù),語言

文章來源：新智元

內(nèi)容字數(shù)：9968字

內(nèi)容摘要：新智元報道編輯：LRS【新智元導(dǎo)讀】為了填補LLM在復(fù)雜多模態(tài)環(huán)境中利用復(fù)雜工具完成多輪、多模態(tài)指令的評估空白，研究人員引入了PowerPoint任務(wù)完成（PPTC）基準測試，以評估LLM創(chuàng)建和編輯PPT文檔的能力。最近對大型語言模型（例如ChatGPT和GPT-4）進行的評估工作主要側(cè)重于在基本自然語言任務(wù)上的能力，以及模型生成用于解決單句用戶指令的API的工具使用能力，卻忽略了在理解復(fù)雜多模態(tài)…

原文鏈接：點此閱讀原文：GPT-4完成正確率僅6%！北大等提出首個「多輪、多模態(tài)」PPT任務(wù)完成基準PPTC

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。