標(biāo)簽：內(nèi)存

OpenAI潛入黑客群聊！盜用ChatGPT被換成“喵喵GPT”，網(wǎng)友：絕對(duì)的傳奇

金磊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI當(dāng)ChatGPT被黑客“入侵”時(shí)，OpenAI會(huì)如何應(yīng)對(duì)？掐斷API，不讓他們用？不不不。這幫極客們采取的做法可謂是劍走偏鋒——...
閱讀原文

EDA頂會(huì)ICCAD放榜！陳怡然團(tuán)隊(duì)摘得「時(shí)間檢驗(yàn)獎(jiǎng)」，表彰十年前論文

新智元報(bào)道編輯：好困 桃子【新智元導(dǎo)讀】全球四大頂級(jí)EDA會(huì)議ICCAD開獎(jiǎng)，陳怡然團(tuán)隊(duì)發(fā)表在十年前最具影響力的論文獲獎(jiǎng)。剛剛，全球四大頂級(jí)EDA會(huì)議ICCAD頒獎(jiǎng)...
閱讀原文

全球首款3nm芯片塞進(jìn)電腦，蘋果M3炸翻全場(chǎng)！128GB巨量?jī)?nèi)存，大模型單機(jī)可跑，性能最高飆升80%

新智元報(bào)道編輯：編輯部【新智元導(dǎo)讀】史上最短蘋果發(fā)布會(huì)上，M3芯片家族震撼亮相了！在它們的加持下，MacBook Pro、iMac紛紛升級(jí)成性能猛獸。史上最短蘋果發(fā)...
閱讀原文

首次采用3nm制程、比M1 Max快80%！蘋果亮相M3系列芯片，最高搭載40核GPU

整理｜冬梅、核子可樂10 月 31 日，以“Scary Fast（快得嚇人）”為主題對(duì)蘋果新品發(fā)布會(huì)如約而至。在此次發(fā)布會(huì)上，Apple 宣布推出全新 MacBook Pro 系列，采...
閱讀原文

蘋果M3系列登場(chǎng)，性能翻倍，M1、M2已成時(shí)代眼淚

機(jī)器之心報(bào)道編輯：陳萍、大盤雞M3 芯片來了。在蘋果今天的 Scary Fast 發(fā)布會(huì)上，蘋果正式發(fā)布了 M3、M3 Pro、M3 Max 芯片。蘋果表示，這是首款采用 3 納米...
閱讀原文

Meta普林斯頓提出LLM上下文終極解決方案！讓模型化身自主智能體，自行讀取上下文節(jié)點(diǎn)樹

新智元報(bào)道編輯：潤(rùn)【新智元導(dǎo)讀】LeCun轉(zhuǎn)發(fā)了Meta團(tuán)隊(duì)提出的一種非常特別的處理LLM上下文的方案：通過把上下文內(nèi)容處理為摘要節(jié)點(diǎn)樹，讓模型自行讀取。這樣...
閱讀原文

你的GPU能跑Llama 2等大模型嗎？用這個(gè)開源項(xiàng)目上手測(cè)一測(cè)

機(jī)器之心報(bào)道編輯：陳萍你的 GPU 內(nèi)存夠用嗎？這有一個(gè)項(xiàng)目，可以提前幫你查看。在算力為王的時(shí)代，你的 GPU 可以順暢的運(yùn)行大模型（LLM）嗎？對(duì)于這一問題，...
閱讀原文

LLM吞吐量提高2-4倍，模型越大效果越好！UC伯克利、斯坦福等開源高效內(nèi)存管理機(jī)制PagedAttention

新智元報(bào)道編輯：LRS【新智元導(dǎo)讀】吞吐量上不去有可能是內(nèi)存背鍋！無需修改模型架構(gòu)，減少內(nèi)存浪費(fèi)就能提高吞吐量！?雖然大型語言模型（LLM）的性能表現(xiàn)足夠...
閱讀原文

6.7k Star量的vLLM出論文了，讓每個(gè)人都能輕松快速低成本地部署LLM服務(wù)

機(jī)器之心專欄編輯：Panda利用操作系統(tǒng)的虛擬內(nèi)存管理方法來提升LLM推理吞吐量。今年六月，來自加州大學(xué)伯克利分校等機(jī)構(gòu)的一個(gè)研究團(tuán)隊(duì)開源了（目前已有 6700...
閱讀原文

蘋果創(chuàng)新大模型壓縮技術(shù)，大模型有機(jī)會(huì)塞進(jìn)手機(jī)里了

機(jī)器之心報(bào)道編輯：趙陽大模型的內(nèi)容安全問題使得人們希望可以在終端設(shè)備上完成模型訓(xùn)練及運(yùn)行。對(duì)于手機(jī)來說，大模型的權(quán)重?cái)?shù)據(jù)顯得尤為龐大。大型語言模型...
閱讀原文

iPhone 15 Pro 系列全面測(cè)評(píng)：蘋果沒告訴你的細(xì)節(jié)，竟然這么多？

過去的 72 小時(shí)，我們晝夜不停地體驗(yàn)、審視了 iPhone 15 Pro 和 Pro Max。對(duì)你可能關(guān)心的影像、C 口、性能、內(nèi)存等變化，我們做了全面的測(cè)試。在此過程中，我...
閱讀原文

大模型生成提速2倍！單GPU幾小時(shí)搞定微調(diào)，北大數(shù)院校友共同一作丨開源

蕭簫 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI只需給大模型“加點(diǎn)小零件”，推理速度立刻提升2倍！不需要額外訓(xùn)練一個(gè)模型，也不需要對(duì)計(jì)算硬件做優(yōu)化，單張A100最快...
閱讀原文

幾行代碼，幾秒鐘就能生成令人驚嘆的音頻樣本！HuggingFace推出音頻生成Pipeline

夕小瑤科技說 原創(chuàng)編輯 | 謝年年音頻是我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠郑缃瘢珹I+音頻帶來了前所未有的體驗(yàn)。通過AI技術(shù)，只需簡(jiǎn)單地輸入一些文本提示就可...
閱讀原文
1…456