公理訓(xùn)練讓LLM學(xué)會(huì)因果推理：6700萬(wàn)參數(shù)模型比肩萬(wàn)億參數(shù)級(jí)GPT-4

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：公理訓(xùn)練讓LLM學(xué)會(huì)因果推理：6700萬(wàn)參數(shù)模型比肩萬(wàn)億參數(shù)級(jí)GPT-4
關(guān)鍵字：公理,因果,模型,位置,數(shù)據(jù)
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：Panda把因果鏈展示給 LLM，它就能學(xué)會(huì)公理。AI 已經(jīng)在幫助數(shù)學(xué)家和科學(xué)家做研究了，比如著名數(shù)學(xué)家陶哲軒就曾多次分享自己借助 GPT 等 AI 工具研究探索的經(jīng)歷。AI 要在這些領(lǐng)域大戰(zhàn)拳腳，強(qiáng)大可靠的因果推理能力是必不可少的。
本文要介紹的這項(xiàng)研究發(fā)現(xiàn)：在小圖譜的因果傳遞性公理演示上訓(xùn)練的 Transformer 模型可以泛化用于大圖譜的傳遞性公理。
也就是說(shuō)，如果讓 Transformer 學(xué)會(huì)執(zhí)行簡(jiǎn)單的因果推理，就可能將其用于更為復(fù)雜的因果推理。該團(tuán)隊(duì)提出的公理訓(xùn)練框架是一種基于被動(dòng)數(shù)據(jù)來(lái)學(xué)習(xí)因果推理的新范式，只有演示足夠就能用于學(xué)習(xí)任意公理。
引言
因果推理（causal reasoning）可以定義成一組推理流程并且這組推理流程要符合專(zhuān)門(mén)針對(duì)因果性的預(yù)定義公理或規(guī)則。舉個(gè)例子，d-separation（有向分離）和 do-calculus 規(guī)則可被視為公理，而 collider set 或 backdoor set 的規(guī)范則可被看作是由公理推導(dǎo)出的規(guī)則。
通常來(lái)說(shuō)，因果推理使用的數(shù)據(jù)對(duì)應(yīng)于一個(gè)系統(tǒng)中的變量。通過(guò)正則化、模型架構(gòu)或特定的變量選擇，可以歸

原文鏈接：公理訓(xùn)練讓LLM學(xué)會(huì)因果推理：6700萬(wàn)參數(shù)模型比肩萬(wàn)億參數(shù)級(jí)GPT-4

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)