標簽:緩存

WPS接入DeepSeek,秒變辦公神器!

WPS 大家經常用來日常寫作,雖然本身提供了AI功能,但可惜需要會員,本文教你三分鐘接入最火的DeepSeek,讓WPS秒變辦公神器。 DeepSeek API申請地址:http:/...
閱讀原文

AI賺錢副業~AI生成影視解說,半個月漲粉變現3.5W+!

這兩年大家都在感嘆生活不易,然而我想說的是,機會還是有的,但問題不在于有沒有,而在于你是否能夠認準機會,然后抓住它。 接觸過很多咨詢項目的人,發現...

免訓練加速DiT!Meta提出自適應緩存新方法,視頻生成快2.6倍

一水 發自 凹非寺量子位 | 公眾號 QbitAI現在,視頻生成模型無需訓練即可加速了?! Meta提出了一種新方法AdaCache,能夠加速DiT模型,而且是無需額外訓練的...
閱讀原文

vLLM這一年的新特性以及后續規劃(總結版!)

大會預告12月5日-6日,2024中國生成式AI大會(上海站)舉辦。將邀請50+位嘉賓圍繞大模型、AI Infra、端側生成式AI、AI視頻生成和具身智能等議題進行同臺分享...
閱讀原文

強化學習訓練一兩個小時,100%自主完成任務:機器人ChatGPT時刻真來了?

機器之心報道 編輯:Panda、佳琪把平均成功率從 50% 拉到了 100%。最近,AI 的進步有目共睹,現在這些進步已經開始傳遞到機器人領域。強大的 AI 技術也能幫助...
閱讀原文

OpenAI DevDay公布五項重大創新,AI實時語音的時代來了!成本比GPT-3降低近1000倍!

OpenAI在昨天的DevDay上,公布了五項重大創新:實時API、提示詞緩存、模型蒸餾、視覺微調、新廣場玩法。 這些新能力似乎預示了OpenAI的戰略重心的變化——加大...
閱讀原文

奧特曼:自認比o1聰明請舉手??到o2還這么想么???|OpenAI開發者日

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI奧特曼:認為自己比o1更聰明的請舉手。(臺下一些人舉手)奧特曼:到了o2你們還會這么想么?(汗流浹背了) 這一幕,...
閱讀原文

OpenAI DevDay:Realtime 實時多模態 API、緩存折扣、視覺微調,全是利好開發者的

OpenAI在昨天的DevDay上,公布了五項重大創新:實時API、提示詞緩存、模型蒸餾、視覺微調、新廣場玩法。 這些新能力似乎預示了OpenAI的戰略重心的變化——加大...
閱讀原文

處于多事之秋的OpenAI,決定拯救開發者預算|甲子光年

今年DevDay很低調,但也有四項創新。作者|蘇霍伊 編輯|王博高管離職、蘋果退出融資磋商,對于OpenAI來說,這無疑是動蕩的一周。但OpenAI仍在堅持說服開發者...
閱讀原文

Kimi 背后的長文本大模型推理實踐:以 KVCache 為中心的分離式推理架構

演講嘉賓|唐飛虎 編輯 |蔡芳芳 策劃 |AICon 全球人工智能開發與應用大會 在不久前舉辦的 AICon 全球人工智能開發與應用大會上,月之暗面高級研發工程師、...
閱讀原文

不花一分錢!GPT-4o微調限時免費開放,每日附贈百萬訓練token

一水 發自 凹非寺量子位 | 公眾號 QbitAI一覺醒來,OpenAI又上新功能了: GPT-4o正式上線微調功能。 并且官方還附贈一波福利:每個組織每天都能免費獲得100萬...
閱讀原文

成本直降90%、延遲縮短80%!Anthropic將API玩出了新花樣,網友:應該成為行業標配

編譯 | 核子可樂、Tina Anthropic 在其 API 上引入了新的提示詞緩存機制,可將長提示的成本降低多達 90%,并將延遲降低 80%。 提示詞緩存功能能夠記住 API ...
閱讀原文

大模型降價又來新玩家——Claude,長文本緩存功能,最高節省 90% 成本

Claude 深夜上新重磅功能——API 長文本緩存。 新版 API 可以「記住」一整本書或整個代碼庫,不需要再重復輸入了。 這樣一來,不僅處理長文本的延時更低,更是...
閱讀原文

成本降低90%!Claude上新Gemini同款提示詞緩存,一次性記住整個代碼庫

克雷西 發自 凹非寺量子位 | 公眾號 QbitAIClaude深夜上新重磅功能——API長文本緩存。 新版API可以“記住”一整本書或整個代碼庫,不需要再重復輸入了。 這樣一...
閱讀原文

蘋果讓大模型學會偷懶:更快吐出第一個token,準確度還保住了

機器之心報道 機器之心編輯部偷懶才能更好地工作。Llama 3.1 剛剛發布,你是否已經嘗試了呢?就算你的個人計算機是最近的頂尖配置,運行其中最小的 8B 版本可...
閱讀原文

月之暗面Kimi引擎是怎么煉成的?底層推理系統方案深度揭秘(二)

直播預告 | 7月5日晚7點,「智猩猩機器人新青年講座」第10講正式開講,北京通研院研究員賈寶雄博士主講,主題為《具身智能視角下的三維場景理解、生成與交互...
閱讀原文

Kimi論文自曝推理架構,80%流量都靠它承擔

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI月之暗面和清華KVCache.ai團隊的最新論文,首次揭秘了Kimi背后的推理架構! 要知道Kimi是國產大模型的當紅炸子雞,...
閱讀原文
12