標簽：梯度

WPS 大家經常用來日常寫作，雖然本身提供了AI功能，但可惜需要會員，本文教你三分鐘接入最火的DeepSeek，讓WPS秒變辦公神器。 DeepSeek API申請地址：http:/...

這兩年大家都在感嘆生活不易，然而我想說的是，機會還是有的，但問題不在于有沒有，而在于你是否能夠認準機會，然后抓住它。 接觸過很多咨詢項目的人，發現...

新智元報道編輯：alan 【新智元導讀】近日，來自微軟的研究人員開源了使用全新方法訓練的MoE大模型，不走尋常路，且編碼和數學表現出色。繼Phi家族之后，微軟...

開講預告11月7日晚7點，上海 AI Lab OpenGVLab 博士后研究員羅根，將以《Mono-InternVL: 突破原生多模態大模型性能瓶頸》為主題進行直播講解，歡迎掃碼報名~...

Fira團隊 投稿量子位 | 公眾號 QbitAI內存占用小，訓練表現也要好……大模型訓練成功實現二者兼得。 來自北理、北大和港中文MMLab的研究團隊提出了一種滿足低秩...

GTIC 2024中國AI PC創新峰會將于10月11日，在2024上海國際消費電子展TechG同期舉辦。聯想集團首席研究員顏毅強、榮耀終端有限公司PC產品研發系統部部長席迎軍...

Hello，大家好，我是 JioNLP。 這一篇文章主要講講 Layer Normalization。在本文里，Layer Normalization 統一都被稱為 layernorm。字面意思就是層歸一化，也...

開講預約導讀文章轉載自知乎，作者為你的真實姓名，本文只作者對知乎問題“如何判斷候選人有沒有千卡GPU集群的訓練經驗？”的回答和總結。 原文地址：https://w...

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI跨GPU的注意力并行，最高提速8倍，支持512萬序列長度推理。 環注意力（Ring Attention）后繼者——樹注意力（Tree Atte...

一水 發自 凹非寺量子位 | 公眾號 QbitAI用光訓練神經網絡，清華成果最新登上了Nature！ 無法應用反向傳播算法怎么辦？ 他們提出了一種全前向模式（Fully For...

機器之心報道 機器之心編輯部在剛剛過去的一天，來自清華的光電智能技術交叉創新團隊突破智能光計算訓練難題，相關論文登上 Nature。 論文共同一作是來自清華...

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI只需激活60%的參數，就能實現與全激活稠密模型相當的性能。 微軟亞洲研究院的一項新研究，實現了模型的完全稀疏激...

夕小瑤科技說 原創作者 | 謝年年在Transformer被提出以前，以LSTMs為代表的RNNs網絡結構由于計算簡單、擅長處理序列數據常被用作NLP領域的基礎架構。但受其結...

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI新架構，再次向Transformer發起挑戰！ 核心思想：將RNN中的隱藏狀態換成可學習的模型。 甚至在測試時都可以學習，所...

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...