標簽:權重
WPS接入DeepSeek,秒變辦公神器!
WPS 大家經常用來日常寫作,雖然本身提供了AI功能,但可惜需要會員,本文教你三分鐘接入最火的DeepSeek,讓WPS秒變辦公神器。 DeepSeek API申請地址:http:/...
AI賺錢副業~AI生成影視解說,半個月漲粉變現3.5W+!
這兩年大家都在感嘆生活不易,然而我想說的是,機會還是有的,但問題不在于有沒有,而在于你是否能夠認準機會,然后抓住它。 接觸過很多咨詢項目的人,發現...
大模型承重墻,去掉了就開始擺爛!蘋果給出了「超級權重」
機器之心報道 編輯:蛋醬、佳琪去掉一個「超權重」的影響,比去掉其他 7000 個離群值權重加起來還要嚴重。大模型的參數量越來越大,越來越聰明,但它們也越來...
Scaling Law或將終結?哈佛MIT預警:低精度量化已無路可走,重磅研究掀翻AI圈
新智元報道編輯:桃子 LRS 【新智元導讀】哈佛斯坦福MIT等機構首次提出「精度感知」scaling law,揭示了精度、參數規模、數據量之間的統一關系。數據量增加,...
量化能讓大模型“恢復記憶”,刪掉的隱私版權內容全回來了,SU哈佛亞馬遜最新研究引熱議
西風 發自 凹非寺量子位 | 公眾號 QbitAI4-bit量化,能讓現有反學習/機器遺忘技術失靈! 也就是大模型在人類要求下“假裝”忘記了特定知識(版權、私人內容等)...
LLM 推理量化評估:FP8、INT8 與 INT4 的全面對比
大會預告12月5日-6日,2024中國生成式AI大會(上海站)將舉辦。上海科大助理教授、博導顧家遠,騰訊優圖實驗室天衍研究中心負責人吳賢,銀河通用機器人合伙人...
Scaling Laws終結,量化無用,AI大佬都在審視這篇論文
機器之心報道 作者:澤南、小舟研究表明,你訓練的 token 越多,你需要的精度就越高。最近幾天,AI 社區都在討論同一篇論文。 UCSD 助理教授 Dan Fu 說它指明...
50s完成7B模型量化,4bit達到新SOTA,大模型低比特量化有新招了 | NeurIPS 2024 Oral
DuQuant團隊 投稿量子位 | 公眾號 QbitAI消除激活值(outliers),大語言模型低比特量化有新招了—— 自動化所、清華、港城大團隊最近有一篇論文入選了NeurIPS 20...
深入淺出Batch Size,對模型訓練的影響分析
開講預告11月7日晚7點,上海 AI Lab OpenGVLab 博士后研究員羅根,將以《Mono-InternVL: 突破原生多模態大模型性能瓶頸》為主題進行直播講解,歡迎掃碼報名~...
Meta開源首個量化模型Llama 3.2:減少40%內存,效率提升2倍以上
文章轉載自公眾號:AIGC開放社區,本文只做學術/技術分享,如有侵權,聯系刪文。 全球社交巨頭Meta開源了首個輕量級量化版模型Llama 3.2,一共有10億和30億兩...
杰弗里·辛頓:從小語言到大語言,人工智能究竟如何理解人類?
來源:返樸 演講:杰弗里·辛頓 翻譯:陳國華(北京外國語大學外國語言研究所教授)2024 年 4 月 8 日辛頓獲得尤利西斯獎章,以表彰他對計算機科學人工智能領...
至高 1.8 倍無損加速!互補量化方案的投機加速
夕小瑤科技說 原創作者 | Juntao Zhao等本文作者來自香港大學和哈爾濱工業大學。其中共同第一作者分別為來自香港大學Netexplo實驗室的博士生Juntao Zhao、She...
微軟開源爆火1.58bit大模型推理框架!千億參數模型量化后單CPU可跑,速度每秒5-7個token
西風 發自 凹非寺量子位 | 公眾號 QbitAI微軟開源1bit大模型推理框架! 現在1000億參數大模型量化后單CPU可跑,速度可達每秒5-7個token。 比如在蘋果M2新品上...
清華開源混合精度推理系統MixQ,實現大模型近無損量化并提升推理吞吐
PACMAN實驗室投稿量子位 | 公眾號 QbitAI一鍵部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍! 清華大學計算機系PACMAN實驗室發布開源混合精度推理系統——M...
不敢對比阿里Qwen2.5,Mistral“最強小模型”陷爭議,歐洲的OpenAI也不Open了
夢晨 發自 凹非寺量子位 | 公眾號 QbitAI歐洲的OpenAI,也不Open了。 Mistral AI發布自稱“世界上最好的邊緣模型”,卻陷入質疑和爭議。 不僅因為這一次沒有磁...
AI教父Hinton萬字訪談: 人類可能只是AI演化過程中的一個過渡階段
2023 年 5月份,Hinton 宣布離開谷歌,對于 AI 的一系列發言也引起了軒然大波。隨后,在 5 月 3 日 MIT 的一場分享上,Hinton 比較完整地講述了他對于 AI 的...
Sebastian Raschka最新博客:從頭開始,用Llama 2構建Llama 3.2
機器之心報道 編輯:蛋醬十天前的 Meta Connect 2024 大會上,開源領域迎來了可在邊緣和移動設備上的運行的輕量級模型 Llama 3.2 1B 和 3B。兩個版本都是純文...