標簽：權(quán)重

TensorRT-LLM保姆級教程（二）-離線環(huán)境搭建、模型量化及推理

開講預(yù)約隨著大模型的爆火，投入到生產(chǎn)環(huán)境的模型參數(shù)量規(guī)模也變得越來越大（從數(shù)十億參數(shù)到千億參數(shù)規(guī)模），從而導致大模型的推理成本急劇增加。因此，市面...
閱讀原文

100B 的「跨級」躍升！元象發(fā)布最大 MoE 開源大模型，「高性能全家桶」系列全部免費

作者 | 華衛(wèi) 9 月 13 日，元象 XVERSE 發(fā)布中國最大 MoE 開源模型：XVERSE-MoE-A36B。該模型總參數(shù) 255B，激活參數(shù) 36B，能 達到 100B 模型的性能「跨級」躍...
閱讀原文

中國最大開源MoE模型，255B參數(shù)無條件免費商用，元象發(fā)布

允中 發(fā)自 凹非寺量子位 | 公眾號 QbitAI元象XVERSE發(fā)布中國最大MoE開源模型： XVERSE-MoE-A36B，該模型總參數(shù)255B，激活參數(shù)36B，達到100B模型性能的「跨級...
閱讀原文

TensorRT-LLM保姆級教程（一）-快速入門

隨著大模型的爆火，投入到生產(chǎn)環(huán)境的模型參數(shù)量規(guī)模也變得越來越大（從數(shù)十億參數(shù)到千億參數(shù)規(guī)模），從而導致大模型的推理成本急劇增加。因此，市面上也出現(xiàn)...
閱讀原文

【萬字訪談】AI教父Hinton：招募Ilya、安利黃仁勛、談大模型的理解、推理、時間尺度、多模態(tài)、算法

Geoffrey Hinton接受Sana Labs專訪★內(nèi)容導讀：這段訪談中，Geoffrey Hinton 回顧了他漫長的研究生涯，并談?wù)摿巳斯ぶ悄艿奈磥怼inton 認為： 深度學習的成功...
閱讀原文

這就翻車了？Reflection 70B遭質(zhì)疑基模為Llama 3，作者：重新訓練

機器之心報道 編輯：杜偉最近，開源大模型社區(qū)再次「熱鬧」了起來，主角是 AI 寫作初創(chuàng)公司 HyperWrite 開發(fā)的新模型 Reflection 70B。 它的底層模型建立在 M...
閱讀原文

Llama-3不算真開源：今年10月，權(quán)威定義就要來了

機器之心報道 編輯：澤南、佳琪你給翻譯翻譯，什么是開源？開源大模型的標桿 Llama 3，居然都「被閉源」了。今天，開源再次成為了人們討論的話題。 如今，開...
閱讀原文

大模型量化技術(shù)原理：FP8

?生成式AI時代最火AI芯片峰會下月來襲！9月6-7日，智猩猩發(fā)起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設(shè)有開幕式、數(shù)據(jù)中心AI芯片專場、邊緣/端側(cè)AI...
閱讀原文

玩瘋了，NSFW、毫無底線，F(xiàn)LUX 成為圖片生成新王者

昨天馬斯克的 Grok-2 發(fā)布，加入了 FLUX 模型提供的文生圖能力。一夜之間，F(xiàn)LUX 毫無底線的圖片血洗 X（推特）。 自從 Google 把美國開國總統(tǒng)和印第安人都畫...
閱讀原文

CPU反超NPU，llama.cpp生成速度翻5倍！LLM端側(cè)部署新范式T-MAC開源

新智元報道編輯：LRST 好困 【新智元導讀】T-MAC是一種創(chuàng)新的基于查找表（LUT）的方法，專為在CPU上高效執(zhí)行低比特大型語言模型（LLMs）推理而設(shè)計，無需權(quán)重...
閱讀原文

70倍極致壓縮！大模型的檢查點再多也不怕

AIxiv專欄是機器之心發(fā)布學術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術(shù)...
閱讀原文

萬字技術(shù)干貨！LLM工程師必讀量化指南，可視化圖解揭秘大模型如何壓縮

新智元報道編輯：編輯部 【新智元導讀】面對LLM逐漸膨脹的參數(shù)規(guī)模，沒有H100的開發(fā)者和研究人員們想出了很多彌補方法，「量化」技術(shù)就是其中的一種。這篇可...
閱讀原文

OpenAI掀小模型血戰(zhàn)！蘋果DCLM強勢登場，碾壓Mistral 7B全開源

新智元報道編輯：桃子 喬楊 【新智元導讀】小模型時代來了？OpenAI帶著GPT-4o mini首次入局小模型戰(zhàn)場，Mistral AI、HuggingFace本周接連發(fā)布了小模型。如今...
閱讀原文

僅微調(diào)0.02%參數(shù)，性能接近全量微調(diào)！上交大推出高效微調(diào)統(tǒng)一新范式

ChouJay 投稿量子位 | 公眾號 QbitAIScaling Laws當?shù)溃S著大模型應(yīng)用的發(fā)展，基礎(chǔ)模型不斷擴大的參數(shù)也成了令開發(fā)者們頭疼的問題。 為了減輕訓練負擔，Ad...
閱讀原文

假開源真噱頭？Meta再陷「開源」爭議，LeCun被炮轟Meta只是開放模型

新智元報道編輯：耳朵 【新智元導讀】大模型開源的熱潮下，隱藏著諸多問題，從定義的模糊到實際開放內(nèi)容的局限性，Lecun再陷Meta大模型是否真開源的質(zhì)疑風波...
閱讀原文
1234…8