Ling-V2

Ling-V2 – 螞蟻百靈推出的大型語言模型系列

Ling-V2：高效、強大的 MoE 大型語言模型家族，兼具卓越推理能力與訓練效率，為 NLP 領域注入新活力。

Ling-V2：螞蟻百靈團隊打造的智能語言新標桿

Ling-V2，由螞蟻百靈團隊傾力打造，是一款基于前沿 MoE（混合專家）架構的大型語言模型系列。其首個成員 Ling-mini-2.0，擁有高達 160 億的總參數量，但其精妙之處在于，每次處理輸入標記時，僅激活 14 億參數，實現了驚人的計算效率。

Ling-V2 的核心亮點

• 非凡的推理實力：Ling-V2 在編碼、數學以及需要深厚跨領域知識的推理任務中表現卓越，其性能遠超同等規模的密集模型，甚至能與更大規模的 MoE 模型媲美。
• 極致的運行效率：采用 1/32 的激活比率 MoE 架構，Ling-V2 實現了 7 倍于密集模型的性能增益。在普通問答場景下，其生成速度可達每秒 300 多個 token，處理長達 128K 的上下文信息時，速度提升更是高達 7 倍以上。
• 性的訓練方案：Ling-V2 全程采用 FP8 混合精度訓練，并開源了高效的 FP8 訓練解決方案，通過 tile/blockwise FP8 縮放及 FP8 優化器等技術，實現了內存占用的大幅優化。在同等 GPU 資源下，其訓練吞吐量較 LLaMA 3.1 8B 和 Qwen3 8B 等模型有顯著提升。
• 開放共享的研發理念：除了提供訓練完成的模型版本，Ling-V2 還開源了五個預訓練檢查點，為研究人員和開發者提供了更廣闊的探索和應用空間。

Ling-V2 的技術基石

• MoE 架構的巧妙運用：Ling-V2 的核心在于其 MoE 架構。通過將龐大的模型拆解為多個的“專家”網絡，并根據輸入數據動態地選擇性激活部分專家，模型在保持強大能力的同時，大幅提升了計算效率。
• 精細的性能調優：在專家粒度、專家共享比例、注意力機制、路由策略（如無輔助損失+sigmoid 路由）、MTP 損失、QK-Norm 以及半 RoPE 等多個維度，Ling-V2 都經過了細致的經驗性優化設計，從而在性能和效率上達到了新的高度。
• FP8 混合精度訓練的突破：在訓練過程中，Ling-V2 采用了 FP8 混合精度。實驗證明，與 BF16 相比，在數萬億標記的數據上訓練，模型性能幾乎不受影響，但顯著降低了計算成本。此次開源的 FP8 訓練解決方案，將助力社區在有限資源下進行高效的持續預訓練和微調。
• 多階段、高質量的數據訓練：Ling-V2 在超過 20 萬億高質量數據標記上進行了訓練。通過多階段的監督微調和強化學習的加持，模型在處理復雜推理和遵循指令方面取得了顯著的進步。

Ling-V2 的應用前景廣闊

• 賦能自然語言處理：Ling-V2 能高效處理文本分類、情感分析、機器翻譯等各類 NLP 任務，提供精準且迅捷的解決方案。
• 革新智能客服體驗：作為智能客服的核心引擎，Ling-V2 能夠快速理解用戶意圖，提供準確答復，極大地提升用戶滿意度和客服效率。
• 助力內容創作生產力：Ling-V2 可輔助內容創作者生成高質量文本，如新聞報道、創意文案、廣告語等，顯著提高創作效率和作品質量。
• 推動教育個性化發展：在教育領域，Ling-V2 可用于智能輔導、自動作業批改、個性化學習路徑規劃，為師生提供定制化教育支持。
• 深化醫療健康領域應用：Ling-V2 能夠處理復雜的醫療文本數據，協助醫生進行病例分析、醫學文獻檢索，從而提高醫療決策的精準度和效率。

Ling-V2 的 GitHub 倉庫地址為：https://github.com/inclusionAI/Ling-V2

HuggingFace 模型庫鏈接：https://huggingface.co/collections/inclusionAI/ling-v2-68bf1dd2fc34c306c1fa6f86