復(fù)旦大學(xué):沒錢標(biāo)數(shù)據(jù)的有福了!利用合成數(shù)據(jù)就能大幅提升大模型歸納推理能力
AIGC動態(tài)歡迎閱讀
原標(biāo)題:復(fù)旦大學(xué):沒錢標(biāo)數(shù)據(jù)的有福了!利用合成數(shù)據(jù)就能大幅提升大模型歸納推理能力
關(guān)鍵字:數(shù)據(jù),歸納,代碼,模型,函數(shù)
文章來源:夕小瑤科技說
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
夕小瑤科技說 原創(chuàng)作者 | 謝年年推理,作為人類的基本認(rèn)知過程,對于學(xué)習(xí)、問題解決和科學(xué)發(fā)現(xiàn)起著至關(guān)重要的作用。常見的推理方式包括演繹推理和歸納推理。
演繹推理就是從一般性的前提推導(dǎo)出個別或特殊情況的結(jié)論,而歸納推理則用于從具體實(shí)例中提煉出一般性的結(jié)論或規(guī)律。
研究學(xué)者一直試圖增強(qiáng)大模型的推理能力,但大部分訓(xùn)練數(shù)據(jù)的指令都偏向演繹推理,比如“解釋一下這個代碼是什么意思”或者“寫一個程序找出列表中最大和最小的數(shù)”。
相比之下,那些要求從幾個例子中推斷出通用規(guī)則或函數(shù)關(guān)系的歸納推理任務(wù),數(shù)據(jù)就稀缺多了。比如:“假設(shè)有:func(1) == 6 func(2) == 7 func(3) == 8 func(4) == 9給我解釋一下這個函數(shù)”或者“給定輸入與輸出john Smith -> Smith, John;frank lee -> Lee, Frank;Laura Jane Jones -> Jones,Laura,請編寫程序?qū)⑤斎朕D(zhuǎn)換為輸出”。
這種數(shù)據(jù)不平衡讓LLMs在歸納推理上學(xué)習(xí)困難,也缺乏有效評估其歸納能力的標(biāo)準(zhǔn)。為了填補(bǔ)這一空白,復(fù)旦大學(xué)發(fā)起了一項(xiàng)名為Case2Code的挑
原文鏈接:復(fù)旦大學(xué):沒錢標(biāo)數(shù)據(jù)的有福了!利用合成數(shù)據(jù)就能大幅提升大模型歸納推理能力
聯(lián)系作者
文章來源:夕小瑤科技說
作者微信:
作者簡介: