AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網(wǎng)友：應(yīng)該成為行業(yè)標(biāo)配
關(guān)鍵字：緩存,小米,提示,華為,字節(jié)跳動(dòng)
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

編譯 | 核子可樂、Tina
Anthropic 在其 API 上引入了新的提示詞緩存機(jī)制，可將長(zhǎng)提示的成本降低多達(dá) 90%，并將延遲降低 80%。
提示詞緩存功能能夠記住 API 調(diào)用之間的上下文，并幫助開發(fā)人員避免輸入重復(fù)提示內(nèi)容。目前該功能已經(jīng)在 Claude 3.5 Sonnet 以及 Claude 3 Haiku 當(dāng)中以 beta 測(cè)試版的形式開放，但對(duì) Claude 旗下最大模型 Opus 的支持仍未交付。
提示詞緩存的概念源自 2023 年的研究論文，其允許用戶在會(huì)話中保留常用的上下文。由于模型能夠記住這些提示詞，因此用戶可以添加額外的背景信息而不必重復(fù)承擔(dān)成本。這一點(diǎn)對(duì)于需要在提示詞中發(fā)送大量上下文，并在與模型的不同對(duì)話中多次引用的使用場(chǎng)景非常重要。它還允許開發(fā)人員及其他用戶更好地對(duì)模型響應(yīng)作出微調(diào)。
Anthropic 表示，早期用戶“已經(jīng)在多種用例中觀察到，使用提示詞緩存后速度及成本都出現(xiàn)了顯著改善——測(cè)試范圍從完整知識(shí)庫(kù)到 100 個(gè)樣本示例，再到在提示詞中包含對(duì)話的每個(gè)輪次?！?br />該公司表示，提示詞緩存的潛在效果包括降低對(duì)話智能體在處理長(zhǎng)指令及上傳文檔時(shí)的成本和

原文鏈接：成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網(wǎng)友：應(yīng)該成為行業(yè)標(biāo)配

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：
作者簡(jiǎn)介：