成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網友：應該成為行業標配

AIGC動態歡迎閱讀

原標題：成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網友：應該成為行業標配
關鍵字：緩存,小米,提示,華為,字節跳動
文章來源：AI前線
內容字數：0字

內容摘要：

編譯 | 核子可樂、Tina
Anthropic 在其 API 上引入了新的提示詞緩存機制，可將長提示的成本降低多達 90%，并將延遲降低 80%。
提示詞緩存功能能夠記住 API 調用之間的上下文，并幫助開發人員避免輸入重復提示內容。目前該功能已經在 Claude 3.5 Sonnet 以及 Claude 3 Haiku 當中以 beta 測試版的形式開放，但對 Claude 旗下最大模型 Opus 的支持仍未交付。
提示詞緩存的概念源自 2023 年的研究論文，其允許用戶在會話中保留常用的上下文。由于模型能夠記住這些提示詞，因此用戶可以添加額外的背景信息而不必重復承擔成本。這一點對于需要在提示詞中發送大量上下文，并在與模型的不同對話中多次引用的使用場景非常重要。它還允許開發人員及其他用戶更好地對模型響應作出微調。
Anthropic 表示，早期用戶“已經在多種用例中觀察到，使用提示詞緩存后速度及成本都出現了顯著改善——測試范圍從完整知識庫到 100 個樣本示例，再到在提示詞中包含對話的每個輪次。”
該公司表示，提示詞緩存的潛在效果包括降低對話智能體在處理長指令及上傳文檔時的成本和

原文鏈接：成本直降90%、延遲縮短80%！Anthropic將API玩出了新花樣，網友：應該成為行業標配

聯系作者

文章來源：AI前線
作者微信：
作者簡介：