清華廈大等提出“無(wú)限長(zhǎng)上下文”技術(shù)，100萬(wàn)大海撈針全綠，Llama\\Qwen\\MiniCPM都能上分

$清華廈大等提出“無(wú)限長(zhǎng)上下文”技術(shù)，100萬(wàn)大海撈針全綠，Llama\Qwen\MiniCPM都能上分$

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：清華廈大等提出“無(wú)限長(zhǎng)上下文”技術(shù)，100萬(wàn)大海撈針全綠，Llama\\Qwen\\MiniCPM都能上分
關(guān)鍵字：片段,模型,文本,信息,框架
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

LLMxMapReduce團(tuán)隊(duì) 投稿量子位 | 公眾號(hào) QbitAI大模型的記憶限制被打破了，變相實(shí)現(xiàn)“無(wú)限長(zhǎng)”上下文。
最新成果，來(lái)自清華、廈大等聯(lián)合提出的LLMxMapReduce長(zhǎng)本文分幀處理技術(shù)。
LLMxMapReduce技術(shù)通過(guò)將長(zhǎng)上下文切分為多個(gè)片段，可以讓模型并行處理多個(gè)片段，并從不同片段中提取關(guān)鍵信息，然后匯總成為最終的答案。
特別地，團(tuán)隊(duì)提出結(jié)構(gòu)化通信協(xié)議和上下文置信度校準(zhǔn)機(jī)制，實(shí)現(xiàn)對(duì)跨片段信息更有效的處理。這項(xiàng)技術(shù)可以打破大模型的記憶限制，實(shí)現(xiàn)上下文長(zhǎng)度無(wú)限穩(wěn)定拓展。
LLMxMapReduce技術(shù)可作為大模型的長(zhǎng)文本上分神器——它對(duì)大模型長(zhǎng)文本能力具有普遍增強(qiáng)作用，且在文本不斷加長(zhǎng)的情況下，仍能保持穩(wěn)定性能、減少長(zhǎng)文本的掉分情況。
比如結(jié)合了LLMxMapReduce框架之后的Llama3-70B-Instruct x MapReduce模型得分超越了包含Kimi、GPT-4在內(nèi)的知名閉源和開(kāi)源模型以及其他基于Llama3-70B-Instruct的分治方法（即LongAgent和Chain-of-Agents）。
此外，LLMxMapReduce框架展現(xiàn)出較強(qiáng)

原文鏈接：清華廈大等提出“無(wú)限長(zhǎng)上下文”技術(shù)，100萬(wàn)大海撈針全綠，Llama\\Qwen\\MiniCPM都能上分