機器之心報道 編輯：澤南、小舟「Real men program in C.」眾所周知，大語言模型還在快速發展，應該有很多可以優化的地方。我用純 C 語言來寫，是不是能優化...

對GTC keynote中關于AI基礎設施的關鍵信息整理如下，分三個部分： 芯片 服務器 Superpod 芯片 1. GPU芯片 晶體管數： B200 GPU的晶體管數量是現有H100的兩倍...

Hello，我是 JioNLP。這篇文章依然是宣傳我正在更新開發的開源軟件工具 ffio。最近又有新的更新，由于有優秀的同事參與更新，所以更新速度還是挺快的。 開源...

機器之心報道 編輯：陳萍、大盤雞只用 24G 顯存，消費級 GPU 就能搞定大模型了。 上個月，Meta FAIR 田淵棟參與的一項研究廣受好評，他們在論文《 MobileLLM:...

機器之心專欄 作者：邵文琪模型量化是模型壓縮與加速中的一項關鍵技術，其將模型權重與激活值量化至低 bit，以允許模型占用更少的內存開銷并加快推理速度。對...

機器之心報道 編輯：杜偉、小舟近年來，C、C++ 編程語言成了美國官方的「眼中釘」，而內存安全的 Rust 等語言搖身一變成了「新寵」。近日，在一份 19 頁的報...

機器之心報道 機器之心編輯部革命性的提升來了。把大模型的權重統統改成三元表示，速度和效率的提升讓人害怕。 今天凌晨，由微軟、國科大等機構提交的一篇論...

新智元報道編輯：潤 好困 【新智元導讀】英偉達發布移動工作站產品線最后一塊拼圖，號稱與競品相比效率提升14倍。隨著今年大量AI消費級硬件的上市，AI應用的...

天下武功，唯快不破。作者｜蘇霍伊??? 編輯｜趙健 本周，一匹 AI 芯片黑馬 Groq 在業內走紅。 Groq 推出了一款全新的 AI 芯片 LPU（Language Processing Unit...

AI芯片是時候上演新故事了。 作者|ZeR0 編輯|漠影 智東西2月21日報道，在OpenAI推出又一爆款力作AI視頻生成模型Sora后，連帶著偏上游的AI芯片賽道熱度一點即...

來源：內容由半導體行業觀察（ID：icbank） 編譯：自design-reuse 人工智能行業包含一個受技術進步、社會需求和監管考慮影響的動態環境。機器學習、自然語言...

作者 |Timothée Lacroix OneFlow編譯 翻譯｜宛子琳、楊婷 選擇正確的 LLM 推理棧意味著選擇適合你的任務的正確模型，并配以適當的推理代碼在適當的硬件上運行...

DistAttention與DistKV-LLM結合，帶來云端自然語言處理新變革。編譯 | 郭 思 編輯丨陳彩嫻 在實際應用大模型的過程中，尤其是處理長文本的上下文信息時，如何...

點擊上方藍字關注我們“英偉達為確保其即將推出的 AI 和 HPC GPU 產品獲得充足的 HBM3E 內存供應，向美光科技和三星電子預購了總價值超過 13 億美元的 HBM3 內...

點擊上方藍字關注我們“蘋果研究人員成功運用創新的閃存技術，克服了iPhone內存限制，實現了大型語言模型在有限內存下的高效推理。通過窗口化和行列捆綁等關鍵...