1-2B參數規模大模型使用心得及模型匯總

AIGC動態歡迎閱讀

原標題：1-2B參數規模大模型使用心得及模型匯總
關鍵字：模型,數據,維度,參數,版本
文章來源：算法邦
內容字數：8292字

內容摘要：

直播預告 |12月26日晚7點，「AI新青年講座」232講正式開講，清華大學在讀博士劉世隆主講《LLaVA-Plus：學習使用視覺工具插件的多模態智能體》，歡迎掃名。大模型時代，根據大模型縮放定律，大家通常都在追求模型的參數規模更大、訓練的數據更多，從而使得大模型涌現出更多的智能。但是，模型參數越大部署壓力就越大。即使有gptq、fastllm、vllm等推理加速方法，但如果GPU資源不夠也很難保證高并發。
那么如何在模型變小的同時，模型效果不明顯下降，在指定任務上也可以媲美大模型的效果呢？
Google前幾天發布的Gemini，在移動端采用1.8B參數模型面向低端手機，3.25B參數模型面向高端手機。
An overview of the Gemini 1.0 model family
而微軟最近也是推出了2.7B的Phi-2模型，評測效果絕群。
Averaged performance on grouped benchmarks compared to popular open-source SLMs
Comparison between Phi-2 and Gemini Na

原文鏈接：1-2B參數規模大模型使用心得及模型匯總

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關注大模型、生成式AI、計算機視覺三大領域的研究與開發，提供技術文章、講座、在線研討會。