CAR – 字節(jié)聯(lián)合復(fù)旦推出的自適應(yīng)推理框架

CAR（基于確定性的自適應(yīng)推理）是字節(jié)跳動(dòng)與復(fù)旦大合開發(fā)的一種先進(jìn)推理框架，旨在提升大型語言模型（LLM）和多模態(tài)大型語言模型（MLLM）在多種任務(wù)中的推理效率和準(zhǔn)確性。該框架能夠根據(jù)模型對(duì)答案的置信度動(dòng)態(tài)切換短答案與長形式推理，從而優(yōu)化計(jì)算資源和時(shí)間。

CAR是什么

CAR（Certainty-based Adaptive Reasoning）是一種自適應(yīng)推理框架，由字節(jié)跳動(dòng)與復(fù)旦大學(xué)合作推出，旨在提升大型語言模型（LLM）和多模態(tài)大型語言模型（MLLM）在不同任務(wù)中的推理效率與準(zhǔn)確性。該框架的核心在于根據(jù)模型對(duì)答案的置信度（通過困惑度PPL進(jìn)行衡量）動(dòng)態(tài)選擇短答案或長形式推理。當(dāng)模型對(duì)短答案的置信度較低時(shí)，CAR會(huì)激活長形式推理，以提高答案的準(zhǔn)確性；而在置信度較高的情況下，則直接輸出短答案，從而節(jié)省計(jì)算資源和時(shí)間。CAR在視覺問答（VQA）和關(guān)鍵信息提取（KIE）等任務(wù)中表現(xiàn)尤為出色，并在數(shù)學(xué)等復(fù)雜推理任務(wù)中展現(xiàn)了優(yōu)良的性能。

CAR的主要功能

• 智能推理切換：CAR能夠在短答案與長形式推理之間靈活切換。對(duì)于簡單問題，直接提供短答案以提高效率；而在面對(duì)復(fù)雜問題時(shí)，則激活長形式推理以確保準(zhǔn)確性。
• 提高推理效率：通過顯著減少生成的token數(shù)量，CAR降低了計(jì)算成本與推理時(shí)間，提升了模型在實(shí)際應(yīng)用中的效率。
• 增強(qiáng)推理準(zhǔn)確性：在需要進(jìn)行詳細(xì)推理的情況下，激活長形式推理，從而提升模型在復(fù)雜任務(wù)中的表現(xiàn)，確保推理結(jié)果的準(zhǔn)確性。
• 廣泛適用性：CAR適合于視覺問答（VQA）、關(guān)鍵信息提取（KIE）等任務(wù)，并能在數(shù)學(xué)推理、常識(shí)推理等復(fù)雜任務(wù)中發(fā)揮重要作用，展現(xiàn)出廣泛的應(yīng)用潛力。

CAR的技術(shù)原理

• 模型訓(xùn)練：通過包含短答案與長形式推理答案的訓(xùn)練數(shù)據(jù)對(duì)LLM或MLLM進(jìn)行訓(xùn)練。在訓(xùn)練過程中，模型學(xué)習(xí)如何根據(jù)不同提示生成相應(yīng)的短答案或長形式推理答案，優(yōu)化目標(biāo)為交叉熵?fù)p失，以最小化預(yù)測token概率分布與真實(shí)token分布之間的差異。
• PPL評(píng)估：在訓(xùn)練數(shù)據(jù)上進(jìn)行短答案推理，并計(jì)算每個(gè)短答案的困惑度（PPL），這一指標(biāo)用于衡量模型對(duì)答案的置信度。PPL越低，表示模型對(duì)答案的信心越強(qiáng)。
• 高斯分布建模：假設(shè)正確與錯(cuò)誤短答案的PPL分?jǐn)?shù)分別遵循高斯分布，基于訓(xùn)練數(shù)據(jù)估計(jì)分布參數(shù)，計(jì)算正確與錯(cuò)誤答案的PPL均值與方差，從而構(gòu)建兩個(gè)高斯分布模型。
• 推理流程：在面對(duì)新的輸入時(shí)，首先生成短答案并計(jì)算其PPL值，隨后依據(jù)高斯分布模型計(jì)算該P(yáng)PL值下答案正確的概率。

CAR的項(xiàng)目地址

• 技術(shù)論文：https://arxiv.org/pdf/2505.15154

CAR的應(yīng)用場景

• 視覺問答（VQA）：在處理簡單問題時(shí)，CAR能直接輸出短答案以提高效率；而對(duì)于復(fù)雜問題，則會(huì)觸發(fā)長形式推理，以確保結(jié)果的準(zhǔn)確性。
• 關(guān)鍵信息提取（KIE）：根據(jù)置信度動(dòng)態(tài)選擇推理方式，減少token使用量，同時(shí)保持高準(zhǔn)確率。
• 數(shù)學(xué)推理：在簡單數(shù)學(xué)問題上直接給出答案，對(duì)于復(fù)雜問題進(jìn)行詳細(xì)推理，從而提升準(zhǔn)確性和效率。
• 常識(shí)推理：針對(duì)簡單常識(shí)問題直接提供答案，而在復(fù)雜問題上則進(jìn)行長形式推理，減少token消耗。
• 多模態(tài)任務(wù)：結(jié)合文本與圖像信息，動(dòng)態(tài)選擇推理方式，提升多模態(tài)任務(wù)的準(zhǔn)確性與效率。

常見問題

• CAR的優(yōu)勢是什么？ CAR通過動(dòng)態(tài)切換短答案和長形式推理，能夠在保證準(zhǔn)確性的前提下提高推理效率，減少計(jì)算資源的消耗。
• CAR適合哪些應(yīng)用場景？ CAR廣泛適用于視覺問答、關(guān)鍵信息提取、數(shù)學(xué)推理以及常識(shí)推理等多種任務(wù)，展現(xiàn)出良好的適用性。
• 如何評(píng)估CAR的性能？ CAR的性能可以通過困惑度（PPL）來評(píng)估，PPL值越低，表示模型對(duì)答案的置信度越高，從而推理結(jié)果更為準(zhǔn)確。