標簽：權重

TensorRT-LLM保姆級教程（二）-離線環境搭建、模型量化及推理

開講預約隨著大模型的爆火，投入到生產環境的模型參數量規模也變得越來越大（從數十億參數到千億參數規模），從而導致大模型的推理成本急劇增加。因此，市面...
閱讀原文

100B 的「跨級」躍升！元象發布最大 MoE 開源大模型，「高性能全家桶」系列全部免費

作者 | 華衛 9 月 13 日，元象 XVERSE 發布中國最大 MoE 開源模型：XVERSE-MoE-A36B。該模型總參數 255B，激活參數 36B，能 達到 100B 模型的性能「跨級」躍...
閱讀原文

中國最大開源MoE模型，255B參數無條件免費商用，元象發布

允中 發自 凹非寺量子位 | 公眾號 QbitAI元象XVERSE發布中國最大MoE開源模型： XVERSE-MoE-A36B，該模型總參數255B，激活參數36B，達到100B模型性能的「跨級...
閱讀原文

TensorRT-LLM保姆級教程（一）-快速入門

隨著大模型的爆火，投入到生產環境的模型參數量規模也變得越來越大（從數十億參數到千億參數規模），從而導致大模型的推理成本急劇增加。因此，市面上也出現...
閱讀原文

【萬字訪談】AI教父Hinton：招募Ilya、安利黃仁勛、談大模型的理解、推理、時間尺度、多模態、算法

Geoffrey Hinton接受Sana Labs專訪★內容導讀：這段訪談中，Geoffrey Hinton 回顧了他漫長的研究生涯，并談論了人工智能的未來。Hinton 認為： 深度學習的成功...
閱讀原文

這就翻車了？Reflection 70B遭質疑基模為Llama 3，作者：重新訓練

機器之心報道 編輯：杜偉最近，開源大模型社區再次「熱鬧」了起來，主角是 AI 寫作初創公司 HyperWrite 開發的新模型 Reflection 70B。 它的底層模型建立在 M...
閱讀原文

Llama-3不算真開源：今年10月，權威定義就要來了

機器之心報道 編輯：澤南、佳琪你給翻譯翻譯，什么是開源？開源大模型的標桿 Llama 3，居然都「被閉源」了。今天，開源再次成為了人們討論的話題。 如今，開...
閱讀原文

大模型量化技術原理：FP8

?生成式AI時代最火AI芯片峰會下月來襲！9月6-7日，智猩猩發起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設有開幕式、數據中心AI芯片專場、邊緣/端側AI...
閱讀原文

玩瘋了，NSFW、毫無底線，FLUX 成為圖片生成新王者

昨天馬斯克的 Grok-2 發布，加入了 FLUX 模型提供的文生圖能力。一夜之間，FLUX 毫無底線的圖片血洗 X（推特）。 自從 Google 把美國開國總統和印第安人都畫...
閱讀原文

CPU反超NPU，llama.cpp生成速度翻5倍！LLM端側部署新范式T-MAC開源

新智元報道編輯：LRST 好困 【新智元導讀】T-MAC是一種創新的基于查找表（LUT）的方法，專為在CPU上高效執行低比特大型語言模型（LLMs）推理而設計，無需權重...
閱讀原文

70倍極致壓縮！大模型的檢查點再多也不怕

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...
閱讀原文

萬字技術干貨！LLM工程師必讀量化指南，可視化圖解揭秘大模型如何壓縮

新智元報道編輯：編輯部 【新智元導讀】面對LLM逐漸膨脹的參數規模，沒有H100的開發者和研究人員們想出了很多彌補方法，「量化」技術就是其中的一種。這篇可...
閱讀原文

OpenAI掀小模型血戰！蘋果DCLM強勢登場，碾壓Mistral 7B全開源

新智元報道編輯：桃子 喬楊 【新智元導讀】小模型時代來了？OpenAI帶著GPT-4o mini首次入局小模型戰場，Mistral AI、HuggingFace本周接連發布了小模型。如今...
閱讀原文

僅微調0.02%參數，性能接近全量微調！上交大推出高效微調統一新范式

ChouJay 投稿量子位 | 公眾號 QbitAIScaling Laws當道，但隨著大模型應用的發展，基礎模型不斷擴大的參數也成了令開發者們頭疼的問題。 為了減輕訓練負擔，Ad...
閱讀原文

假開源真噱頭？Meta再陷「開源」爭議，LeCun被炮轟Meta只是開放模型

新智元報道編輯：耳朵 【新智元導讀】大模型開源的熱潮下，隱藏著諸多問題，從定義的模糊到實際開放內容的局限性，Lecun再陷Meta大模型是否真開源的質疑風波...
閱讀原文
1234…8