<rt id="awwms"></rt>

盤古大模型 5.5

AI工具3個月前更新 AI工具集

6 0 0

盤古大模型 5.5 – 華為推出的新一代AI大模型

盤古大模型5.5，華為在HDC 2025上隆重推出的新一代人工智能巨擘，秉持“不作詩，只做事”的理念，專注于解決實際產業(yè)難題，助力千行百業(yè)的智能化升級。該模型集成了五大基礎模型，涵蓋自然語言處理（NLP）、多模態(tài)、預測、科學計算和計算機視覺（CV）領域。

盤古大模型 5.5：全面解讀

盤古大模型5.5，是華為在2025年開發(fā)者大會上耀世發(fā)布的人工智能領域里程碑式產品。它摒棄了華而不實的“花哨”，專注于解決現實世界中的實際問題，旨在推動各行各業(yè)的智能化轉型。這款模型的核心在于其強大的功能矩陣，涵蓋了自然語言處理、多模態(tài)交互、精準預測、科學計算以及計算機視覺五大關鍵領域。

盤古大模型 5.5 的核心功能

自然語言處理（NLP）
- 超長文本處理：借助Adaptive SWA和ESA技術，輕松駕馭百萬字級別的文本內容。
- 精準信息提取：采用知識邊界判定和結構化思考驗證等創(chuàng)新方法，顯著提升模型推理的準確性和可靠性。
- 智能推理提速：運用自適應快慢思考融合技術，根據問題的復雜程度智能切換思考模式，實現推理效率的顯著提升，最快可達8倍。
- 深度研究能力：盤古DeepDiver模型通過長鏈難題構建和漸進式獎勵機制，在網頁搜索、常識性問答等應用中表現出色，能夠5分鐘內完成超過10跳的復雜問答，并生成萬字以上的專業(yè)調研報告。
多模態(tài)交互
- 數字世界構建：為自動駕駛、具身智能機器人訓練構建數字物理空間，實現持續(xù)優(yōu)化迭代。例如，在自動駕駛領域，可以生成海量的訓練數據，減少對昂貴道路采集的依賴。
精準預測
- 三元組架構：利用triplet transformer架構，將不同行業(yè)的數據統(tǒng)一進行三元組編碼和預訓練，從而提升預測的精度，并增強跨行業(yè)、跨場景的通用性。
科學計算
- AI集合預報：例如，深圳氣象局基于盤古大模型升級的“智霽”大模型，首次實現AI集合預報，更直觀地展現天氣系統(tǒng)的演變可能性。
計算機視覺（CV）
- 300億參數視覺巨擘：支持多維度泛視覺感知、分析和決策，構建工業(yè)場景稀缺的泛視覺故障樣本庫，提升業(yè)務場景的可識別種類與精度。

盤古大模型 5.5 的模型詳解

盤古 Ultra MoE
- 超大規(guī)模與稀疏激活：擁有7180億參數，采用256個路由專家，每個token激活8個專家，激活量為39億，具備超大規(guī)模和高稀疏比的特性。
- 創(chuàng)新架構設計：引入MLA（Multi-head Latent Attention）注意力機制，有效壓縮 KV Cache 空間，緩解推理階段的內存帶寬瓶頸。同時采用 MTP（Multi-Token Parallelism）多頭擴展，通過單頭 MTP 訓練后擴展至多頭結構，實現多 Token 投機推理，加速整體推理過程。
- 穩(wěn)定訓練技術：提出 Depth-Scaled Sandwich-Norm（DSSN）穩(wěn)定架構和 TinyInit 小初始化方法，解決了超大規(guī)模 MoE 模型訓練過程中的穩(wěn)定性難題，實現了超過 18TB 數據的長期穩(wěn)定訓練。
- 高效負載優(yōu)化：采用 EP group loss 負載優(yōu)化方法，保證各個專家之間保持較好的負載均衡，同時提升專家的領域特化能力。
- 訓練策略優(yōu)化：使用 Dropless 訓練策略，避免 Drop&Pad 訓推不一致問題，提升訓練的數據效率。此外，采用迭代難例挖掘與多能力項均衡的獎勵函數，參考 GRPO 算法，提升模型的訓練效率與最終推理性能。
盤古 Pro MoE
- 分組混合專家架構：創(chuàng)新性地提出分組混合專家模型（MoGE），在專家選擇階段對專家進行分組，并約束 token 在每個組內激活等量專家，實現專家負載均衡，顯著提升模型在昇騰平臺的部署效率。
- 高效推理性能：在昇騰 300I Duo 平臺上，單卡吞吐量可達 201 tokens/s，通過引入 MTP 解碼和多 token 優(yōu)化可進一步提升至 321 tokens/s。在昇騰 800I A2 平臺上，低并發(fā)場景下可實現毫秒級響應，高并發(fā)條件下單卡吞吐量可達 1148 tokens/s，結合優(yōu)化后可提升至 1528 tokens/s，性能大幅領先于同等規(guī)模的稠密模型。
- 卓越推理能力：在跨語言多領域基準測試中展現出色性能，涵蓋英語通用推理、閱讀理解、常識推理，邏輯推理中的代碼生成和中英雙語數學問題，以及中文的知識問答和閱讀理解等，全面驗證了模型在復雜認知任務上的通用性與領域適應性。
- 硬件親和優(yōu)化：針對昇騰 300I Duo 和 800I A2 平臺進行系統(tǒng)優(yōu)化，深度融合昇騰硬件加速架構的并行計算特性與算子級編譯優(yōu)化技術，實現從算法設計到系統(tǒng)落地的全棧創(chuàng)新。
盤古 Embedding
- 快慢思考融合：采用雙系統(tǒng)認知架構，集成“快思考”與“慢思考”雙推理模式。通過兩階段訓練框架，第一階段通過迭代蒸餾和多源動態(tài)獎勵系統(tǒng)（MARS）構建基礎推理器；第二階段賦予模型快慢思考能力，可根據任務難度自動切換模式，實現推理效率與深度的動態(tài)平衡。
- 高效訓練策略：提出基于模型感知型迭代蒸餾（Model-aware Iterative Distillation）的 SFT 方案，動態(tài)選擇與模型當前能力相匹配的數據樣本進行訓練，并通過訓練過程中的模型合并策略保留早期知識，持續(xù)提升性能。
- 行業(yè)垂域能力拓展：通過引入特定領域的長思考數據繼續(xù)訓練，可顯著提升模型在專業(yè)任務上的能力水平。例如在法律領域，經過法律語料訓練后，在 LawBench 基準測試中的平均準確率達到 54.59%。
- 自適應模式切換：模型能夠根據任務的復雜程度自動調整推理深度。在簡單問題上快速輸出答案，在復雜問題上進行深入分析，確保輸出的準確性。
盤古 DeepDiver
- 復雜任務處理：針對深度研究場景，如科學助手、個性化教育以及復雜的行業(yè)報告調研等，能夠完成超過 10 跳的復雜問答，并生成萬字以上的專業(yè)調研報告。
- 高效信息獲取：通過構建大量的合成交互數據，并采用漸進式獎勵策略進行強化學習訓練，在開放域信息獲取中表現出色，可在 5 分鐘內完成復雜的任務，生成高質量的調研報告。
- 高階能力增強：顯著提升了盤古大模型的自主規(guī)劃、探索、反思等高階能力，使其在復雜任務處理中表現更加出色。
盤古預測大模型：采用業(yè)界首創(chuàng)的 triplet transformer 統(tǒng)一預訓練架構，將不同行業(yè)的數據進行統(tǒng)一的三元組編碼，并、在同一框架內高效處理和預訓練，提升預測大模型的精度，跨行業(yè)、跨場景的泛化性。
盤古科學計算大模型：華為云持續(xù)拓展盤古科學計算大模型與更多科學應用領域的結合。比如深圳氣象局基于盤古進一步升級「智霽」大模型，首次實現 AI 集合預報，能更直觀地反映天氣系統(tǒng)的演變可能性，減少單一預報模型的誤差。
盤古計算機視覺 CV 大模型：華為云發(fā)布全新 MoE 架構的 300 億參數視覺大模型，是目前業(yè)界最大的視覺模型，全面支持圖像、紅外、激光點云、光譜、雷達等多維度、泛視覺的感知、分析與決策。通過跨維度生成模型，構建油氣、交通、煤礦等工業(yè)場景稀缺的泛視覺故障樣本庫，提升了業(yè)務場景的可識別種類與精度。
盤古多模態(tài)大模型：全新發(fā)布基于盤古多模態(tài)大模型的世界模型，可以為智能駕駛、具身智能機器人的訓練，構建所需要的數字物理空間，實現持續(xù)優(yōu)化迭代。

盤古大模型 5.5：資源獲取

Pangu Ultra MoE 技術論文：https://arxiv.org/pdf/2505.04519
盤古 Pro MoE 項目地址：https://gitcode.com/ascend-tribe/pangu-pro-moe
Pangu Embedding 技術論文：https://arxiv.org/pdf/2505.22375
Pangu DeepDiver 技術論文：https://arxiv.org/pdf/2505.24332

盤古大模型 5.5：應用場景一覽

智能駕駛：盤古多模態(tài)大模型助力智能駕駛，生成大量訓練數據，擺脫對高成本道路采集的依賴。
具身智能機器人：盤古世界模型為具身智能機器人訓練構建數字物理空間，實現持續(xù)優(yōu)化迭代。
氣象預報：深圳氣象局基于盤古科學計算大模型升級的“智霽”大模型，首次實現AI集合預報，更直觀地展現天氣系統(tǒng)的演變可能性，降低單一預報模型的誤差。
工業(yè)場景：盤古CV大模型構建油氣、交通、煤礦等工業(yè)場景稀缺的泛視覺故障樣本庫，極大地提升了業(yè)務場景的可識別種類與精度。