標(biāo)簽：權(quán)重

TensorRT-LLM保姆級(jí)教程（二）-離線環(huán)境搭建、模型量化及推理

開(kāi)講預(yù)約隨著大模型的爆火，投入到生產(chǎn)環(huán)境的模型參數(shù)量規(guī)模也變得越來(lái)越大（從數(shù)十億參數(shù)到千億參數(shù)規(guī)模），從而導(dǎo)致大模型的推理成本急劇增加。因此，市面...
閱讀原文

100B 的「跨級(jí)」躍升！元象發(fā)布最大 MoE 開(kāi)源大模型，「高性能全家桶」系列全部免費(fèi)

作者 | 華衛(wèi) 9 月 13 日，元象 XVERSE 發(fā)布中國(guó)最大 MoE 開(kāi)源模型：XVERSE-MoE-A36B。該模型總參數(shù) 255B，激活參數(shù) 36B，能 達(dá)到 100B 模型的性能「跨級(jí)」躍...
閱讀原文

中國(guó)最大開(kāi)源MoE模型，255B參數(shù)無(wú)條件免費(fèi)商用，元象發(fā)布

允中 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI元象XVERSE發(fā)布中國(guó)最大MoE開(kāi)源模型： XVERSE-MoE-A36B，該模型總參數(shù)255B，激活參數(shù)36B，達(dá)到100B模型性能的「跨級(jí)...
閱讀原文

TensorRT-LLM保姆級(jí)教程（一）-快速入門(mén)

隨著大模型的爆火，投入到生產(chǎn)環(huán)境的模型參數(shù)量規(guī)模也變得越來(lái)越大（從數(shù)十億參數(shù)到千億參數(shù)規(guī)模），從而導(dǎo)致大模型的推理成本急劇增加。因此，市面上也出現(xiàn)...
閱讀原文

【萬(wàn)字訪談】AI教父Hinton：招募Ilya、安利黃仁勛、談大模型的理解、推理、時(shí)間尺度、多模態(tài)、算法

Geoffrey Hinton接受Sana Labs專(zhuān)訪★內(nèi)容導(dǎo)讀：這段訪談中，Geoffrey Hinton 回顧了他漫長(zhǎng)的研究生涯，并談?wù)摿巳斯ぶ悄艿奈磥?lái)。Hinton 認(rèn)為： 深度學(xué)習(xí)的成功...
閱讀原文

這就翻車(chē)了？Reflection 70B遭質(zhì)疑基模為L(zhǎng)lama 3，作者：重新訓(xùn)練

機(jī)器之心報(bào)道 編輯：杜偉最近，開(kāi)源大模型社區(qū)再次「熱鬧」了起來(lái)，主角是 AI 寫(xiě)作初創(chuàng)公司 HyperWrite 開(kāi)發(fā)的新模型 Reflection 70B。 它的底層模型建立在 M...
閱讀原文

Llama-3不算真開(kāi)源：今年10月，權(quán)威定義就要來(lái)了

機(jī)器之心報(bào)道 編輯：澤南、佳琪你給翻譯翻譯，什么是開(kāi)源？開(kāi)源大模型的標(biāo)桿 Llama 3，居然都「被閉源」了。今天，開(kāi)源再次成為了人們討論的話題。 如今，開(kāi)...
閱讀原文

大模型量化技術(shù)原理：FP8

?生成式AI時(shí)代最火AI芯片峰會(huì)下月來(lái)襲！9月6-7日，智猩猩發(fā)起主辦的2024全球AI芯片峰會(huì)將在北京盛大舉行。峰會(huì)設(shè)有開(kāi)幕式、數(shù)據(jù)中心AI芯片專(zhuān)場(chǎng)、邊緣/端側(cè)AI...
閱讀原文

玩瘋了，NSFW、毫無(wú)底線，F(xiàn)LUX 成為圖片生成新王者

昨天馬斯克的 Grok-2 發(fā)布，加入了 FLUX 模型提供的文生圖能力。一夜之間，F(xiàn)LUX 毫無(wú)底線的圖片血洗 X（推特）。 自從 Google 把美國(guó)開(kāi)國(guó)總統(tǒng)和印第安人都畫(huà)...
閱讀原文

CPU反超NPU，llama.cpp生成速度翻5倍！LLM端側(cè)部署新范式T-MAC開(kāi)源

新智元報(bào)道編輯：LRST 好困 【新智元導(dǎo)讀】T-MAC是一種創(chuàng)新的基于查找表（LUT）的方法，專(zhuān)為在CPU上高效執(zhí)行低比特大型語(yǔ)言模型（LLMs）推理而設(shè)計(jì)，無(wú)需權(quán)重...
閱讀原文

70倍極致壓縮！大模型的檢查點(diǎn)再多也不怕

AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

萬(wàn)字技術(shù)干貨！LLM工程師必讀量化指南，可視化圖解揭秘大模型如何壓縮

新智元報(bào)道編輯：編輯部 【新智元導(dǎo)讀】面對(duì)LLM逐漸膨脹的參數(shù)規(guī)模，沒(méi)有H100的開(kāi)發(fā)者和研究人員們想出了很多彌補(bǔ)方法，「量化」技術(shù)就是其中的一種。這篇可...
閱讀原文

OpenAI掀小模型血戰(zhàn)！蘋(píng)果DCLM強(qiáng)勢(shì)登場(chǎng)，碾壓Mistral 7B全開(kāi)源

新智元報(bào)道編輯：桃子 喬楊 【新智元導(dǎo)讀】小模型時(shí)代來(lái)了？OpenAI帶著GPT-4o mini首次入局小模型戰(zhàn)場(chǎng)，Mistral AI、HuggingFace本周接連發(fā)布了小模型。如今...
閱讀原文

僅微調(diào)0.02%參數(shù)，性能接近全量微調(diào)！上交大推出高效微調(diào)統(tǒng)一新范式

ChouJay 投稿量子位 | 公眾號(hào) QbitAIScaling Laws當(dāng)?shù)溃S著大模型應(yīng)用的發(fā)展，基礎(chǔ)模型不斷擴(kuò)大的參數(shù)也成了令開(kāi)發(fā)者們頭疼的問(wèn)題。 為了減輕訓(xùn)練負(fù)擔(dān)，Ad...
閱讀原文

假開(kāi)源真噱頭？Meta再陷「開(kāi)源」?fàn)幾h，LeCun被炮轟Meta只是開(kāi)放模型

新智元報(bào)道編輯：耳朵 【新智元導(dǎo)讀】大模型開(kāi)源的熱潮下，隱藏著諸多問(wèn)題，從定義的模糊到實(shí)際開(kāi)放內(nèi)容的局限性，Lecun再陷Meta大模型是否真開(kāi)源的質(zhì)疑風(fēng)波...
閱讀原文
1234…8