CAR – 字節聯合復旦推出的自適應推理框架

CAR（基于確定性的自適應推理）是字節跳動與復旦大合開發的一種先進推理框架，旨在提升大型語言模型（LLM）和多模態大型語言模型（MLLM）在多種任務中的推理效率和準確性。該框架能夠根據模型對答案的置信度動態切換短答案與長形式推理，從而優化計算資源和時間。

CAR是什么

CAR（Certainty-based Adaptive Reasoning）是一種自適應推理框架，由字節跳動與復旦大學合作推出，旨在提升大型語言模型（LLM）和多模態大型語言模型（MLLM）在不同任務中的推理效率與準確性。該框架的核心在于根據模型對答案的置信度（通過困惑度PPL進行衡量）動態選擇短答案或長形式推理。當模型對短答案的置信度較低時，CAR會激活長形式推理，以提高答案的準確性；而在置信度較高的情況下，則直接輸出短答案，從而節省計算資源和時間。CAR在視覺問答（VQA）和關鍵信息提取（KIE）等任務中表現尤為出色，并在數學等復雜推理任務中展現了優良的性能。

CAR的主要功能

• 智能推理切換：CAR能夠在短答案與長形式推理之間靈活切換。對于簡單問題，直接提供短答案以提高效率；而在面對復雜問題時，則激活長形式推理以確保準確性。
• 提高推理效率：通過顯著減少生成的token數量，CAR降低了計算成本與推理時間，提升了模型在實際應用中的效率。
• 增強推理準確性：在需要進行詳細推理的情況下，激活長形式推理，從而提升模型在復雜任務中的表現，確保推理結果的準確性。
• 廣泛適用性：CAR適合于視覺問答（VQA）、關鍵信息提取（KIE）等任務，并能在數學推理、常識推理等復雜任務中發揮重要作用，展現出廣泛的應用潛力。

CAR的技術原理

• 模型訓練：通過包含短答案與長形式推理答案的訓練數據對LLM或MLLM進行訓練。在訓練過程中，模型學習如何根據不同提示生成相應的短答案或長形式推理答案，優化目標為交叉熵損失，以最小化預測token概率分布與真實token分布之間的差異。
• PPL評估：在訓練數據上進行短答案推理，并計算每個短答案的困惑度（PPL），這一指標用于衡量模型對答案的置信度。PPL越低，表示模型對答案的信心越強。
• 高斯分布建模：假設正確與錯誤短答案的PPL分數分別遵循高斯分布，基于訓練數據估計分布參數，計算正確與錯誤答案的PPL均值與方差，從而構建兩個高斯分布模型。
• 推理流程：在面對新的輸入時，首先生成短答案并計算其PPL值，隨后依據高斯分布模型計算該PPL值下答案正確的概率。

CAR的項目地址

• 技術論文：https://arxiv.org/pdf/2505.15154

CAR的應用場景

• 視覺問答（VQA）：在處理簡單問題時，CAR能直接輸出短答案以提高效率；而對于復雜問題，則會觸發長形式推理，以確保結果的準確性。
• 關鍵信息提取（KIE）：根據置信度動態選擇推理方式，減少token使用量，同時保持高準確率。
• 數學推理：在簡單數學問題上直接給出答案，對于復雜問題進行詳細推理，從而提升準確性和效率。
• 常識推理：針對簡單常識問題直接提供答案，而在復雜問題上則進行長形式推理，減少token消耗。
• 多模態任務：結合文本與圖像信息，動態選擇推理方式，提升多模態任務的準確性與效率。

常見問題

• CAR的優勢是什么？ CAR通過動態切換短答案和長形式推理，能夠在保證準確性的前提下提高推理效率，減少計算資源的消耗。
• CAR適合哪些應用場景？ CAR廣泛適用于視覺問答、關鍵信息提取、數學推理以及常識推理等多種任務，展現出良好的適用性。
• 如何評估CAR的性能？ CAR的性能可以通過困惑度（PPL）來評估，PPL值越低，表示模型對答案的置信度越高，從而推理結果更為準確。