愛(ài)丁堡大學(xué)出新招，大小語(yǔ)言模型配合節(jié)約成本！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：愛(ài)丁堡大學(xué)出新招，大小語(yǔ)言模型配合節(jié)約成本！
關(guān)鍵字：模型,報(bào)告,性能,成本,任務(wù)
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：5905字

內(nèi)容摘要：

夕小瑤科技說(shuō) 原創(chuàng)作者 | 墨墨在大語(yǔ)言模型的應(yīng)用中，往往面臨著成本和性能權(quán)衡的問(wèn)題。
一方面，大型LLM的參數(shù)量極大（如70B），每次調(diào)用都可能帶來(lái)更多的成本，而小型LLM（如7B）的成本則更容易被接受。
另一方面，更大的參數(shù)量明顯帶來(lái)了更好的性能。
魚(yú)與熊掌真的不可得兼嗎？
愛(ài)丁堡大學(xué)的研究者帶來(lái)了全新的大小模型協(xié)同方案，不需要額外訓(xùn)練任何輔助模型，即可取得非常優(yōu)秀的效果！
實(shí)驗(yàn)表明，在27個(gè)實(shí)驗(yàn)設(shè)置中，這一方法可以其中25個(gè)優(yōu)于現(xiàn)有主流協(xié)同方法。
讓我們來(lái)看看他們的思路吧~
論文標(biāo)題Optimising Calls to Large Language Models with Uncertainty Based Two-Tier Selection
論文鏈接https://arxiv.org/pdf/2405.02134.pdf
現(xiàn)有主流方法介紹首先，研究者介紹了現(xiàn)有大小模型協(xié)同方案的兩種主流思路。
假設(shè)我們有兩個(gè)LLM，其中大型LLM比小型LLM更昂貴，但性能更好。為了讓它們協(xié)同工作，方案包括：
（1）路由（Routing）（下圖左）：通過(guò)用戶(hù)傳入的查詢(xún)，來(lái)選擇最合適的LLM（即

原文鏈接：愛(ài)丁堡大學(xué)出新招，大小語(yǔ)言模型配合節(jié)約成本！

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：專(zhuān)業(yè)、有趣、深度價(jià)值導(dǎo)向的科技媒體。聚集30萬(wàn)AI工程師、研究員，覆蓋500多家海內(nèi)外機(jī)構(gòu)投資人，互聯(lián)網(wǎng)大廠(chǎng)中高管和AI公司創(chuàng)始人。一線(xiàn)作者來(lái)自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠(chǎng)，兼?zhèn)涿翡J的行業(yè)嗅覺(jué)和洞察深度。商務(wù)合作：zym5189