標簽：參數

AI for Science 在線研討會預告！直播講解開源框架 NVIDIA Modulus 千倍加速參數化燃燒場仿真

隨著 AI 的不斷發展與成熟，科學家們開始借助 AI 來進行數據的分析和處理工作。憑借強大的學習和推理能力，AI 可以從大量數據中發現有用的信息和規律，將科學...
閱讀原文

2024屬于小模型時代？TinyLlama 等小模型爆火

直播預告 | 明晚(周三)7點，「多模態大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學者...
閱讀原文

拆掉英偉達護城河，細節曝光！世界最快超算用3072塊AMD GPU訓完超萬億參數LLM

新智元報道編輯：潤 好困 【新智元導讀】世界上最快超算集群Frontier，用8%的GPU訓練出了一個萬億級規模的大模型，而且是在AMD硬件平臺之上完成。研究人員將...
閱讀原文

總結！大模型微調（Tuning）的常見方法

直播預告 | 1月17日晚7點，「多模態大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學者...
閱讀原文

首個國產開源MoE大模型來了！性能媲美Llama 2-7B，計算量降低60%

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI開源MoE模型，終于迎來首位國產選手！ 它的表現完全不輸給密集的Llama 2-7B模型，計算量卻僅有40%。 這個模型堪稱1...
閱讀原文

千卡規模訓練算力利用率達 60%，螞蟻開源分布式訓練加速擴展庫 ATorch

近日，螞蟻集團宣布開源大模型分布式訓練加速擴展庫ATorch。ATorch可針對不同模型和硬件資源，實現深度學習自動資源動態優化和分布式訓練穩定性提升，可幫助...
閱讀原文

輕量級模型，重量級性能，TinyLlama、LiteLlama小模型火起來了

機器之心報道 編輯：陳萍、大盤雞小身板，大能量。 當大家都在研究大模型（LLM）參數規模達到百億甚至千億級別的同時，小巧且兼具高性能的小模型開始受到研究...
閱讀原文

盤點2023的大語言模型

大數據文摘授權轉載自數據派THU 作者：陳之炎 2023年可謂大語言模型元年，許多大語言模型嶄露頭角，以ChatGPT 為首的生成式對話模型一枝獨秀，在人工智能領域...
閱讀原文

Hugging Face：2023開源LLM大爆發，數據競賽已開啟！

新智元報道編輯：alan 【新智元導讀】2023年的LLM開源社區都發生了什么？來自Hugging Face的研究員帶你回顧并重新認識開源LLM2023年的大語言模型（LLM），讓...
閱讀原文

顯存瓶頸被打破！大模型訓練的黑科技來了，帶寬不再制約大模型訓練

夕小瑤科技說 原創作者 | 賣萌醬 大家好，我是賣萌醬。 來一個快問快答，如何使用性能有限的GPU卡從頭訓練出一個ChatGPT？ 在目前，隨著模型參數量不斷暴漲，...
閱讀原文

中國大模型爆發元年！AI界大佬共話LLM創新探索｜新浪新聞探索大會

新智元報道編輯：桃子 好困 【新智元導讀】AI時代，中國大模型進展到哪了？12月20日，「數字力量，探索無穹」2023探索大會上，新智元創始人&CEO楊靜，與...
閱讀原文

1-2B參數規模大模型使用心得及模型匯總

直播預告 |12月26日晚7點，「AI新青年講座」232講正式開講，清華大學在讀博士劉世隆主講《LLaVA-Plus：學習使用視覺工具插件的多模態智能體》，歡迎掃碼報名...
閱讀原文

微軟官宣放出一個「小模型」，僅2.7B參數，擊敗Llama2和Gemini Nano 2

夕小瑤科技說 原創作者 | 小戲、王二狗就在前一陣谷歌深夜炸彈直接對標 GPT-4 放出 Gemini 之后，微軟這兩天也緊鑼密鼓進行了一系列動作。盡管時間日趨圣誕假...
閱讀原文

手機能跑！微軟小模型擊敗Llama 2，96塊A100 GPU訓練14天，參數規模僅27億

以小搏大！微軟27億參數模型擊敗Llama 2、Gemini Nano 2。作者|程茜編輯|李水青智東西12月13日報道，昨日晚間，微軟又亮出了小模型大招！微軟發布了27億參數...
閱讀原文

2024年AI趨勢看這張圖，LeCun：開源大模型要超越閉源

機器之心報道編輯：大盤雞、澤南能感受到其中的趨勢嗎？2023 年即將過去。一年以來，各式各樣的大模型爭相發布。當 OpenAI 和谷歌等科技巨頭正在角逐時， —— ...
閱讀原文