PRefLexOR – MIT 團(tuán)隊(duì)推出的新型自學(xué)習(xí)AI框架

PRefLexOR是什么

PRefLexOR（Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning）是由麻省理工學(xué)院團(tuán)隊(duì)研發(fā)的一種先進(jìn)自學(xué)習(xí)人工智能框架。該框架融合了偏好優(yōu)化和強(qiáng)化學(xué)習(xí)（RL）的理念，通過(guò)迭代推理的方式提升自我學(xué)習(xí)的能力。PRefLexOR的核心在于其遞歸推理算法，模型在訓(xùn)練和推理的過(guò)程中會(huì)進(jìn)行多輪推理、反思和優(yōu)化，從而最終生成更為準(zhǔn)確的結(jié)果。該框架建立在優(yōu)勢(shì)比偏好優(yōu)化（ORPO）的基礎(chǔ)上，模型通過(guò)優(yōu)化偏好與非偏好響應(yīng)之間的對(duì)數(shù)幾率來(lái)協(xié)調(diào)推理路徑，并結(jié)合直接偏好優(yōu)化（DPO），通過(guò)拒絕采樣進(jìn)一步提升推理的質(zhì)量。

PRefLexOR的主要功能

• 動(dòng)態(tài)知識(shí)圖譜構(gòu)建：該框架無(wú)需依賴(lài)于預(yù)先生成的數(shù)據(jù)集，而是通過(guò)實(shí)時(shí)生成任務(wù)和推理步驟來(lái)構(gòu)建知識(shí)圖譜，使模型能夠持續(xù)適應(yīng)新任務(wù)，并在推理過(guò)程中動(dòng)態(tài)擴(kuò)展其知識(shí)庫(kù)。
• 跨領(lǐng)域推理能力：PRefLexOR具備整合不同領(lǐng)域知識(shí)的能力。例如，在材料科學(xué)領(lǐng)域，模型通過(guò)遞歸推理和知識(shí)圖譜能夠生成新的設(shè)計(jì)原則。
• 自主學(xué)習(xí)與進(jìn)化：PRefLexOR運(yùn)用遞歸優(yōu)化和實(shí)時(shí)反饋機(jī)制，能夠在訓(xùn)練過(guò)程中實(shí)現(xiàn)自我教學(xué)，持續(xù)改進(jìn)推理策略，展現(xiàn)出類(lèi)似人類(lèi)的深度思考與自主發(fā)展的能力。

PRefLexOR的技術(shù)原理

• 遞歸推理與反思：PRefLexOR通過(guò)引入“思考令牌”和“反思令牌”，明確區(qū)分推理過(guò)程中的各個(gè)階段。模型在推理時(shí)會(huì)首先生成初步響應(yīng)，然后通過(guò)反思逐步改進(jìn)，最終得出更精確的答案。
• 偏好優(yōu)化：PRefLexOR基于優(yōu)勢(shì)比偏好優(yōu)化（ORPO）和直接偏好優(yōu)化（DPO）。模型通過(guò)優(yōu)化偏好響應(yīng)與非偏好響應(yīng)之間的對(duì)數(shù)優(yōu)勢(shì)比來(lái)使推理路徑與人類(lèi)的決策過(guò)程保持一致。同時(shí)，DPO通過(guò)拒絕采樣進(jìn)一步調(diào)整推理質(zhì)量，確保偏好對(duì)齊的細(xì)微差異。
• 多階段訓(xùn)練：PRefLexOR的訓(xùn)練過(guò)程分為多個(gè)階段，首先通過(guò)ORPO對(duì)齊推理路徑，然后利用DPO進(jìn)一步優(yōu)化推理質(zhì)量。這種混合方法類(lèi)似于強(qiáng)化學(xué)習(xí)中的策略細(xì)化，模型通過(guò)實(shí)時(shí)反饋和遞歸處理不斷改進(jìn)。

PRefLexOR的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/lamm-mit/PRefLexOR
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.12375

PRefLexOR的應(yīng)用場(chǎng)景

• 材料科學(xué)與設(shè)計(jì)：在材料科學(xué)領(lǐng)域，PRefLexOR展現(xiàn)出強(qiáng)大的推理能力。通過(guò)動(dòng)態(tài)生成問(wèn)題和檢索增強(qiáng)技術(shù)（RAG），該模型能夠從隨機(jī)文本中提取信息，構(gòu)建實(shí)時(shí)更新的知識(shí)圖譜。
• 跨領(lǐng)域推理：PRefLexOR能夠?qū)⒉煌I(lǐng)域的知識(shí)進(jìn)行整合，進(jìn)行跨領(lǐng)域的推理與決策。在生物材料科學(xué)中，模型可通過(guò)遞歸推理與反思機(jī)制，將生物學(xué)原理與材料科學(xué)結(jié)合，提出新的解決方案。
• 開(kāi)放域問(wèn)題解決：作為基于強(qiáng)化學(xué)習(xí)的自學(xué)習(xí)系統(tǒng)，PRefLexOR能有效應(yīng)對(duì)開(kāi)放域問(wèn)題，通過(guò)迭代優(yōu)化與反饋驅(qū)動(dòng)的學(xué)習(xí)，不斷提升其推理路徑。
• 生成材料信息學(xué)：PRefLexOR可以用于生成材料信息學(xué)的工作流程，將信息轉(zhuǎn)變?yōu)橹R(shí)與可執(zhí)行的結(jié)果。通過(guò)多步推理和自我評(píng)估，該模型能夠?qū)崿F(xiàn)更復(fù)雜的預(yù)測(cè)，支持材料預(yù)測(cè)的持續(xù)改進(jìn)。

常見(jiàn)問(wèn)題

• PRefLexOR的優(yōu)勢(shì)是什么？：PRefLexOR通過(guò)動(dòng)態(tài)推理和自我學(xué)習(xí)能力，能夠在不斷變化的任務(wù)環(huán)境中快速適應(yīng)并產(chǎn)生高質(zhì)量的輸出。
• 如何訪問(wèn)PRefLexOR？：用戶可以通過(guò)項(xiàng)目官網(wǎng)和GitHub倉(cāng)庫(kù)獲取更多信息和使用指導(dǎo)。
• PRefLexOR適用于哪些領(lǐng)域？：PRefLexOR適用于多個(gè)領(lǐng)域，包括材料科學(xué)、跨領(lǐng)域推理及開(kāi)放域問(wèn)題解決等。
• 使用PRefLexOR需要哪些技術(shù)背景？：雖然PRefLexOR設(shè)計(jì)為用戶友好，具備基本編程知識(shí)和對(duì)人工智能的理解將有助于更好地利用該框架。