標簽:內存
OpenAI潛入黑客群聊!盜用ChatGPT被換成“喵喵GPT”,網友:絕對的傳奇
金磊 發自 凹非寺量子位 | 公眾號 QbitAI當ChatGPT被黑客“入侵”時,OpenAI會如何應對?掐斷API,不讓他們用?不不不。這幫極客們采取的做法可謂是劍走偏鋒——...
EDA頂會ICCAD放榜!陳怡然團隊摘得「時間檢驗獎」,表彰十年前論文
新智元報道編輯:好困 桃子【新智元導讀】全球四大頂級EDA會議ICCAD開獎,陳怡然團隊發表在十年前最具影響力的論文獲獎。剛剛,全球四大頂級EDA會議ICCAD頒獎...
全球首款3nm芯片塞進電腦,蘋果M3炸翻全場!128GB巨量內存,大模型單機可跑,性能最高飆升80%
新智元報道編輯:編輯部【新智元導讀】史上最短蘋果發布會上,M3芯片家族震撼亮相了!在它們的加持下,MacBook Pro、iMac紛紛升級成性能猛獸。史上最短蘋果發...
首次采用3nm制程、比M1 Max快80%!蘋果亮相M3系列芯片,最高搭載40核GPU
整理|冬梅、核子可樂10 月 31 日,以“Scary Fast(快得嚇人)”為主題對蘋果新品發布會如約而至。在此次發布會上,Apple 宣布推出全新 MacBook Pro 系列,采...
蘋果M3系列登場,性能翻倍,M1、M2已成時代眼淚
機器之心報道編輯:陳萍、大盤雞M3 芯片來了。在蘋果今天的 Scary Fast 發布會上,蘋果正式發布了 M3、M3 Pro、M3 Max 芯片。蘋果表示,這是首款采用 3 納米...
Meta普林斯頓提出LLM上下文終極解決方案!讓模型化身自主智能體,自行讀取上下文節點樹
新智元報道編輯:潤【新智元導讀】LeCun轉發了Meta團隊提出的一種非常特別的處理LLM上下文的方案:通過把上下文內容處理為摘要節點樹,讓模型自行讀取。這樣...
你的GPU能跑Llama 2等大模型嗎?用這個開源項目上手測一測
機器之心報道編輯:陳萍你的 GPU 內存夠用嗎?這有一個項目,可以提前幫你查看。在算力為王的時代,你的 GPU 可以順暢的運行大模型(LLM)嗎?對于這一問題,...
LLM吞吐量提高2-4倍,模型越大效果越好!UC伯克利、斯坦福等開源高效內存管理機制PagedAttention
新智元報道編輯:LRS【新智元導讀】吞吐量上不去有可能是內存背鍋!無需修改模型架構,減少內存浪費就能提高吞吐量!?雖然大型語言模型(LLM)的性能表現足夠...
6.7k Star量的vLLM出論文了,讓每個人都能輕松快速低成本地部署LLM服務
機器之心專欄編輯:Panda利用操作系統的虛擬內存管理方法來提升LLM推理吞吐量。今年六月,來自加州大學伯克利分校等機構的一個研究團隊開源了(目前已有 6700...
蘋果創新大模型壓縮技術,大模型有機會塞進手機里了
機器之心報道編輯:趙陽大模型的內容安全問題使得人們希望可以在終端設備上完成模型訓練及運行。對于手機來說,大模型的權重數據顯得尤為龐大。大型語言模型...
iPhone 15 Pro 系列全面測評:蘋果沒告訴你的細節,竟然這么多?
過去的 72 小時,我們晝夜不停地體驗、審視了 iPhone 15 Pro 和 Pro Max。對你可能關心的影像、C 口、性能、內存等變化,我們做了全面的測試。在此過程中,我...
大模型生成提速2倍!單GPU幾小時搞定微調,北大數院校友共同一作丨開源
蕭簫 發自 凹非寺量子位 | 公眾號 QbitAI只需給大模型“加點小零件”,推理速度立刻提升2倍!不需要額外訓練一個模型,也不需要對計算硬件做優化,單張A100最快...
幾行代碼,幾秒鐘就能生成令人驚嘆的音頻樣本!HuggingFace推出音頻生成Pipeline
夕小瑤科技說 原創編輯 | 謝年年音頻是我們日常生活中不可或缺的一部分,而如今,AI+音頻帶來了前所未有的體驗。通過AI技術,只需簡單地輸入一些文本提示就可...