標簽：參數

挑戰Scaling Law，Meta發布移動端350M小模型MobileLLM，性能比肩7B LLaMA-v2

新智元報道編輯：喬楊 【新智元導讀】Scaling Law還沒走到盡頭，「小模型」逐漸成為科技巨頭們的追趕趨勢。Meta最近發布的MobileLLM系列，規模甚至降低到了1B...
閱讀原文

OpenAI 終于發布 GPT-4o mini，但比中國大模型晚了半年

OpenAI 的入局，更加驗證了“小”模型的未來價值。作者 | 朱可軒、西西 編輯 | 陳彩嫻 美國時間 7 月18 日，OpenAI 正式發布了多模態小模型 GPT-4o mini，在海...
閱讀原文

基于華為昇騰推理引擎MindIE部署Qwen-72B實戰

在華為昇騰LLM落地可選解決方案中，我們曾介紹過MindIE，并且前段時間MindIE 1.0.RC1已經發布，本文主要將對其進行實戰演練。 01MindIE 簡介MindIE（Mind Inf...
閱讀原文

30B！每秒100tokens！這是AMD對AI PC的“幻想時間”

夕小瑤科技說 原創作者 | 谷雨龍澤隨著AI的高速發展，從去年開始，掛在服務器的云端AI模型已經不能滿足技術發燒友的胃口了，AI PC應運而生。 AI PC就是內嵌個...
閱讀原文

MoE也有Scaling Law，「百萬專家」利用率近100%！DeepMind華人挑戰MoE極限

新智元報道編輯：編輯部 【新智元導讀】MoE已然成為AI界的主流架構，不論是開源Grok，還是閉源GPT-4，皆是其擁躉。然而，這些模型的專家，最大數量僅有32個。...
閱讀原文

快速遷移大模型到昇騰910B保姆級教程（Pytorch版）

7月11日19點，「智猩猩自動駕駛新青年講座」第36講將開講，主講理想汽車最新成果：基于MLLM的閉環規劃智能體PlanAgent，由理想汽車實習研究員、中國科學院自...
閱讀原文

Meta AI推出適用于移動設備的緊湊型語言模型

點擊上方藍字關注我們“Meta AI 推出 MobileLLM，一種為移動設備設計的高效語言模型。該模型通過優化參數，實現了與更大模型相當的性能，推動了 AI 模型小型化...
閱讀原文

院士領銜推出大模型的第3種記憶：比參數存儲和RAG都便宜，2.4B模型越級打13B

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI給大模型加上第三種記憶格式，把寶貴的參數從死記硬背知識中解放出來！ 中科院院士鄂維南領銜，上海算法創新研究院等...
閱讀原文

又一家技術+產品雙殺的大模型創業公司！一款測試，讓其WAIC大會展位火爆

夕小瑤科技說 原創作者 | 夕小瑤編輯部最近上海世界人工智能大會（WAIC）現場，一個國風展位前排起了長長的隊伍，筆者忍不住好奇，究竟是什么新奇的東西吸引...
閱讀原文

參數更新量僅為LoRA的5%，性能不減反升！南加大提出高效精調法LaMDA

夕小瑤科技說 原創作者 | Axe_越萬物負陰而抱陽，沖氣以為和 ——《道德經·第四十二章》 從Bert時代一路過來的朋友們應該還記得，對于僅僅只有1億參數的Bert，...
閱讀原文

Adam有了mini版：內存占用少一半，吞吐量提升50%

機器之心報道 編輯：panda在訓練大型語言模型（LLM）時，Adam(W) 基本上已經成為了人們默認使用的優化器。 Adam 盡管性能優異，但使用成本很高。具體來說，Ad...
閱讀原文

今天，階躍星辰正式發布萬億MoE大模型｜甲子光年

國產大模型跑出了“階躍速度”。作者｜趙健 今年的世界人工智能大會（WAIC），“大模型”含量極高，既有已發布模型的集中展示，也有大模型的首發亮相。 其中，階...
閱讀原文

階躍星辰首發「萬億」和「多模」大模型，還與《大鬧天宮》跨界聯動 | WAIC 2024

階躍星辰 再出王炸僅僅過去 100 天左右，站在 AGI 風口上的階躍星辰再次亮出王炸成果。 在今天揭幕的世界人工智能大會，階躍星辰宣布對 Step 系列通用大模型...
閱讀原文

如何通往AGI？階躍星辰用萬億+多模交卷，三大模型亮相WAIC

微軟前高管創業AGI，大模型創企“五虎”變“六杰”。 作者|香草 編輯|漠影 隨著大模型的智能水平迅速增長，科技圈對AGI（通用人工智能）將于幾年內降臨的預測聲音...
閱讀原文

上海WAIC大會現場“大鬧天宮”：模型夠猛，產品夠酷，公司夠強

衡宇 發自 凹非寺量子位 | 公眾號 QbitAI今年上海世界人工智能大會，誰最受關注？ 展區現場，有個擠得水泄不通的互動—— 像孫猴子一樣在全世界大鬧天宮的AI大...
閱讀原文
123456…16