大模型降價又來新玩家——Claude，長文本緩存功能，最高節(jié)省 90% 成本

AIGC動態(tài)歡迎閱讀

原標題：大模型降價又來新玩家——Claude，長文本緩存功能，最高節(jié)省 90% 成本
關鍵字：緩存,成本,提示,模型,美元
文章來源：Founder Park
內容字數(shù)：0字

內容摘要：

Claude 深夜上新重磅功能——API 長文本緩存。
新版 API 可以「記住」一整本書或整個代碼庫，不需要再重復輸入了。
這樣一來，不僅處理長文本的延時更低，更是能節(jié)省最高 90% 的成本。
來看看這降本的效果：
假定重復部分為 1 萬 Token，模型為 3.5 Sonnet，只計算輸入今年 5 月，谷歌在 Gemini 更新中提出了這項功能，然后是國內的 Kimi 和 DeepSeek 團隊，總之現(xiàn)在又輪到了 Claude。
值得一提的是，廠商 Anthropic 的推文當中提到，提示詞緩存功能可以讓用戶用更長、更有指導性的提示詞對模型進行「微調」。
有網(wǎng)友看了之后感慨，人們本來就很難分清提示工程（prompting）和微調（fine-tune），這下更不好區(qū)分了。
當然在這種場合下，也難免會有人點名或不點名地 cue 起隔壁的 OpenAI。
以下文章轉載自「量子位」。01成本節(jié)約高至 90%提示詞緩存的作用，就是一次給模型發(fā)送大量 prompt，然后讓它記住這些內容，并在后續(xù)請求中直接復用，避免反復輸入。
對此，博主 Dan Shipper 做了這樣的一個比喻：
假設你在一

原文鏈接：大模型降價又來新玩家——Claude，長文本緩存功能，最高節(jié)省 90% 成本

聯(lián)系作者

文章來源：Founder Park
作者微信：
作者簡介：