標簽:階段

圖解Mixtral 8 * 7b推理優(yōu)化原理與源碼實現(xiàn)

智猩猩與智東西將于4月18-19日在北京共同舉辦2024中國生成式AI大會,阿里巴巴通義千問大模型技術(shù)負責(zé)人周暢,潞晨科技創(chuàng)始人尤洋,生數(shù)科技CEO唐家渝,優(yōu)必選...
閱讀原文

復(fù)旦發(fā)布ToolSword框架,揭露大模型工具學(xué)習(xí)中的安全風(fēng)險

夕小瑤科技說 原創(chuàng)作者 | 芒果、Python引言:工具學(xué)習(xí)在實際部署大型語言模型中的重要性在當今的人工智能領(lǐng)域,大語言模型(LLMs)的實際部署已成為一個熱門...
閱讀原文

生成速度快SDXL一倍,9GB GPU也能運行,Stable Cascade來搞性價比了

機器之心報道 編輯:大盤雞硬件要求越來越低,生成速度越來越快。Stability AI 作為文本到圖像的「元老」,不僅在引領(lǐng)該領(lǐng)域的潮流方向,也在模型質(zhì)量上一次...
閱讀原文

AI看視頻自動找“高能時刻”|字節(jié)&中科院自動化所@AAAI 2024

夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI大家看視頻用過“高光時刻”功能嗎? 觀眾可以直接空降到精彩時刻,主播也可以從長時間直播錄像中復(fù)盤自己的表現(xiàn)。 字...
閱讀原文

比A100性價比更高!FlightLLM讓大模型推理不再為性能和成本同時發(fā)愁

機器之心專欄 機器之心編輯部大語言模型在端側(cè)的規(guī)模化應(yīng)用對計算性能、能效比需求的“提拽式”牽引,在算法與芯片之間,撕開了一道充分的推理競爭場。 面對想...
閱讀原文

AAAI 2024:大模型如何掌握復(fù)雜工具?看孔子框架的教學(xué)之道

夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、Python 如今,大型語言模型(LLM)發(fā)展飛速,在文本和圖像生成方面表現(xiàn)都很出色,但在我們的實際生活中,要理解和正...
閱讀原文

只需一張圖片、一句動作指令,Animate124輕松生成3D視頻

機器之心專欄 機器之心編輯部Animate124,輕松將單張圖片變成 3D 視頻。近一年來,DreamFusion 引領(lǐng)了一個新潮流,即 3D 靜態(tài)物體與場景的生成,這在生成技術(shù)...
閱讀原文

一文剖析GPT推斷中的批處理(Batching)效應(yīng)

來源:PaperWeekly作者:陳樂群學(xué)校:華盛頓大學(xué)博士生研究方向 :機器學(xué)習(xí)系統(tǒng)及分布式系統(tǒng)機器學(xué)習(xí)模型依賴于批處理(Batching)來提高推斷吞吐量,尤其是...
閱讀原文

OpenAI內(nèi)斗時,Karpathy在錄視頻:《大型語言模型入門》上線

機器之心報道編輯:杜偉趕緊學(xué)習(xí)起來吧!OpenAI 的風(fēng)波暫時告一段落,員工也忙著「干活了」。年初回歸 OpenAI 的 Andrej Karpathy 最近做了一場關(guān)于大型語言...
閱讀原文

ChatGPT只算L1階段,谷歌提出AGI完整路線圖

豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAIAGI應(yīng)該如何發(fā)展、最終呈什么樣子?現(xiàn)在,業(yè)內(nèi)第一個標準率先發(fā)布:AGI分級框架,來自谷歌DeepMind。該框架認為,發(fā)...
閱讀原文

GPU推理提速4倍,256K上下文全球最長:無問芯穹刷新大模型優(yōu)化記錄

機器之心報道機器之心編輯部想用大模型賺錢?這個實力強勁的新面孔決定先把推理成本打下來。大模型業(yè)務(wù)到底多燒錢?前段時間,華爾街日報的一則報道給出了參...
閱讀原文

讓大模型真正學(xué)會1+1=2!谷歌教會模型自動學(xué)習(xí)推理規(guī)則,大模型的幻覺有救了

夕小瑤科技說 原創(chuàng)作者 | 謝年年在初學(xué)算術(shù)加法或乘法時,我們通過數(shù)小棍的方式逐步從1+1=2,1+2=3等例子中得出1+3=4,這是一種依賴記憶中的數(shù)學(xué)表格進行演繹...
閱讀原文

DeepMind讓大模型學(xué)會歸納和演繹,GPT-4準確率提升13.7%

機器之心報道機器之心編輯部當前,大型語言模型(LLM)在推理任務(wù)上表現(xiàn)出令人驚艷的能力,特別是在給出一些樣例和中間步驟時。然而,prompt 方法往往依賴于 ...
閱讀原文

用暫停token重新訓(xùn)練大模型,AI學(xué)會三思而后行

夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI讓ChatGPT給出答案之前多想想步驟,就能提高準確率。那么能不能省去提示詞,直接把這種能力內(nèi)化在大模型里呢?CMU與...
閱讀原文

ChatGPT/GPT-4/Llama電車難題大PK!大模型具備道德感嗎?

夕小瑤科技說 分享來源 | 新智元作者 | Lumina「模型有道德推理能力嗎?」這個問題似乎應(yīng)該跟模型生成的內(nèi)容政策掛鉤,畢竟我們常見的是「防止模型生成不道德...
閱讀原文
1234