微軟發(fā)布！提示工程進化為位置工程，有效提升RAG與上下文學(xué)習(xí)

AIGC動態(tài)歡迎閱讀

原標題：微軟發(fā)布！提示工程進化為位置工程，有效提升RAG與上下文學(xué)習(xí)
關(guān)鍵字：位置,工程,數(shù)據(jù),性能,示例
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：7529字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 謝年年
別再光顧著優(yōu)化提示工程啦！微軟最近推出位置工程研究思路，只需調(diào)整token的索引位置，而不修改文本本身，就能顯著提高任務(wù)性能。
提示工程通過添加、替換或刪除段落和句子改變提示，調(diào)整語義信息，激發(fā)LLMs的推理能力。比如CoT通過在問題的結(jié)尾附加“Let’s think step by step”這幾個詞，鼓勵模型生成推理過程。
而微軟這篇工作發(fā)現(xiàn)在tokens之間引入占位符token可改變其他token的相對位置。這些占位符token不參與注意力分數(shù)的計算，但占據(jù)了token索引位置。因此可能優(yōu)化提示中不同段落之間的注意力權(quán)重。
▲提示工程與位置工程的比較。”Para”指的是提
示中的段落，”Sent”指的是句子。通過在兩個廣泛使用的LLM場景中——檢索增強生成（RAG）和上下文學(xué)習(xí)（ICL）——對位置工程進行了評估。結(jié)果表明，位置工程在兩種情況下都顯著優(yōu)于基礎(chǔ)模型。
又一充分激發(fā)LLMs能力的新策略出現(xiàn)啦，說不定也是一個產(chǎn)出論文的好方向！
論文標題:Position Engineering: Boosting Large Language Mode

原文鏈接：微軟發(fā)布！提示工程進化為位置工程，有效提升RAG與上下文學(xué)習(xí)

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189