成本降低90%！Claude上新Gemini同款提示詞緩存，一次性記住整個代碼庫

AIGC動態(tài)歡迎閱讀

原標題：成本降低90%！Claude上新Gemini同款提示詞緩存，一次性記住整個代碼庫
關鍵字：緩存,成本,提示,模型,美元
文章來源：量子位
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAIClaude深夜上新重磅功能——API長文本緩存。
新版API可以“記住”一整本書或整個代碼庫，不需要再重復輸入了。
這樣一來，不僅處理長文本的延時更低，更是能節(jié)省最高90%的成本。
來看看這降本的效果~
△假定重復部分為1萬Token，模型為3.5 Sonnet，只計算輸入今年5月，谷歌在Gemini更新中提出了這項功能，然后是國內(nèi)的Kimi和DeepSeek團隊，總之現(xiàn)在又輪到了Claude。
值得一提的是，廠商Anthropic的推文當中提到，提示詞緩存功能可以讓用戶用更長、更有指導性的提示詞對模型進行“微調(diào)”。
有網(wǎng)友看了之后感慨，人們本來就很難分清提示工程（prompting）和微調(diào)（fine-tune），這下更不好區(qū)分了。
當然在這種場合下，也難免會有人點名或不點名地cue起隔壁的OpenAI。
成本節(jié)約高至90%提示詞緩存的作用，就是一次給模型發(fā)送大量prompt，然后讓它記住這些內(nèi)容，并在后續(xù)請求中直接復用，避免反復輸入。
對此，博主Dan Shipper做了這樣的一個比喻：
假設你在一家咖啡館，第一次點單的時候需要告

原文鏈接：成本降低90%！Claude上新Gemini同款提示詞緩存，一次性記住整個代碼庫

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：