書生大模型

上海人工智能實驗室

我國人工智能領域的新型科研機構

7月6日，2023世界人工智能大會（WAIC 2023）隆重開幕。在開幕式和科學前沿全體會議上，上海人工智能實驗室（上海AI實驗室）與商湯科技聯合香港中文大學、復旦大學、上海交通大學及清華大學發布全新升級的“書生通用大模型體系”（以下簡稱“書生大模型”），包括書生·多模態、書生·浦語和書生·天際等三大基礎模型，以及首個面向大模型研發與應用的全鏈條開源體系。

書生通用大模型體系在WAIC 2023開幕式現場發布

目前，書生大模型在130多個評測中性能達世界領先或先進水平。其中，書生·多模態無縫整合了語言、圖像、視頻等多種模態，首次實現通過自然語言定義視覺任務，并具有多模態交互和跨模態生成能力；升級后的書生·浦語為國內首個正式發布的支持8K語境長度的千億參數級語言大模型；書生·天際則是全球首個城市級NeRF實景三維大模型，具備千億參數，在全球首次實現對100平方公里城市實景進行4K高精度建模以及編輯。“書生”（INTERN）自2021年發布后歷經數次升級，從國內首個覆蓋多種視覺任務的通用大模型，逐步升級為涵括視覺、語言和三維等在內的大模型體系。基于書生大模型，上海AI實驗室聯合團隊奪得計算機視覺頂級會議CVPR 2023最佳論文獎，為近40年來署名全部為中國學術機構的文章首次獲此殊榮。

【書生多模態大模型：實現開放世界理解、多模態生成與交互】

如同人類是通過多種信息認識世界，讓AI模型認知和理解現實世界，也需要突破單一模態，融合視覺、語言、語音等多種模態信息。此次發布的書生多模態模型（InternLMM，Intern Large Multimodal Model）包含200億參數，使用80億多模態樣本訓練。書生多模態大模型可通過自然語言定義各種任務，實現開放世界理解，支持多模態生成和跨模態交互，并支持350萬語義標簽的識別和理解，覆蓋開放世界常見的類別和概念。書生體系在80多種多模態和視覺評測任務中性能領先，超過了谷歌、微軟、OpenAI等研發的同類模型。

“書生”根據張大千的 《湖山清夏圖》創作的七言絕句

【書生·浦語大模型全面升級，多項評測超越 ChatGPT】

書生·浦語（InternLM）是國內首個正式發布的支持8K語境長度的千億參數級語言大模型， 具有1040億參數，是在包含18000億 token 的高質量語料上訓練而成。自今年6月正式亮相后，書生·浦語在一個月內進行全面升級，具體包括五個方面。

第一，語境窗口的長度從2K提升到8K，這使其具備了理解長輸入、展開復雜推理、以及進行長時間多輪對話的能力；

第二，多語種和結構化表達能力進一步加強，新版模型支持二十多種語言，還可通過表格和圖表等方式匯總與呈現復雜信息；

第三，多維度能力全面提升，在42個主流評測集上性能明顯提升，在其中35個評測集上性能超越了ChatGPT。

多維度能力全面提升，在42個主流評測集上性能明顯提升，在其中35個評測集上性能超越了ChatGPT

第四，數理邏輯能力明顯進步，大幅提高了數值計算、函數運算、方程求解等數理能力，在數學評測集 GSM8K 上性能從62.9提高到73.2，在2023年高考數學選擇題上，正確率提升超過70%；

第五，安全與對齊能力顯著增強，通過更有效的指令微調，包括基于人類反饋的強化學習（RLHF），新版模型可以更可靠地遵循人類指令，安全性也得到明顯改善。

【書生·浦語開源體系：覆蓋全鏈條五大環節】

在全面升級的同時，書生·浦語也正式開源了一個70億參數的輕量級版本InternLM-7B，以及貫穿數據、預訓練、微調、部署和評測五大環節的全鏈條工具體系。

上海AI實驗室林達華教授表示：“在大模型時代，基座模型和相關的工具體系是大模型創新的技術基石。通過書生·浦語的高質量全方位開源開放，我們希望可以助力大模型的創新和應用，讓更多的領域和行業受惠于大模型變革的浪潮。”

書生·浦語開源體系在WAIC?2023發布

InternLM-7B 在包含40個評測集的全維度評測中展現出卓越且平衡的性能，全面領先現有開源模型。值得一提的是，它在兩個被廣泛采用的基準 MMLU 和 CEval 上分別取得了50.8和52.8的高分，刷新了7B量級模型的世界紀錄。

InternLM-7B 在全維度評測中展現出卓越且平衡的性能

此外，書生·浦語還開源了全鏈條工具體系，涵蓋數據、預訓練、微調、部署和評測五大環節。

在數據環節，通過OpenDataLab開放了包含30多種模態的5500公開數據集，其中在自然語言方面開放了超過10000億token的高質量語料。

在預訓練環節，開源了面向輕量級語言大模型的訓練框架 InternLM-Train，支持從8卡到1024卡并行訓練，提出了Hybrid-Zero獨特技術，性能領先行業水平。

在微調環節，開源了全流程微調工具，支持SFT、RLHF，還支持訓練模型進行復雜的符號計算和工具調用，通過代碼解決復雜的數學計算問題。

在部署環節，開源了部署推理工具鏈LMDeploy。支持十億到千億參數語言模型的高效推理，性能超越 HuggingFace、Deepspeed、vLLM等主流推理框架。

在評測環節，上線了開放評測平臺 OpenCompass，支持大模型的一站式、全方位評測，包含超過40個評測集、30萬評測題目。通過全自動分布式評測，保障開源模型性能可高效復現。

【書生·天際：全球首個城市級NeRF實景三維大模型】

上海AI實驗室對大模型的探索，從視覺模型、語言模型擴展至多模態以及交互的深入研究，并進一步延伸至三維、城市空間。在WAIC 2023上，上海AI實驗室聯合香港中文大學、上海市測繪院發布全球首個城市級NeRF實景三維大模型書生·天際。

目前，書生·天際已實現對100平方公里范圍進行城市實景建模，分辨率精度可達4K；并支持對全范圍的高精度實時渲染，以及城市級編輯、風格化轉換等功能。未來，上海AI實驗室將對書生·天際的建模范圍和功能進行擴展，并對書生·天際的算法、算子和系統全部進行開源。

全球首個城市級NeRF實景三維大模型——書生·天際

實景三維是對一定范圍內人類生產、生活和生態空間進行真實、立體、時序化反映和表達的數字空間。

書生·天際集算法、算子、計算系統為一體，在模型層面提出一種新的實景三維模型表征和訓練范式，在高效訓練的同時，可以準確表征大規模三維城市場景，并且達到高質量的神經渲染效果。書生·天際在高精度建模、高精度渲染、功能可擴展性、訓練交互一體化四個方面取得領先。

【支持創新 賦能應用】

書生大模型憑借更全面的通用化能力，為科研創新提供支持，為產業應用賦能，與學術界、產業界合作共建生態。目前，書生大模型已助力自動駕駛、智慧醫療、地球科學等多個產業和領域推動智能化進程。

在自動駕駛方面，上海AI實驗室聯合團隊的研究成果《Planning-oriented Autonomous Driving》（以路徑規劃為導向的自動駕駛）摘取CVPR最佳論文獎，首次提出感知決策一體化的自動駕駛通用大模型UniAD，使自動駕駛更智能。

在智慧醫療方面，上海AI實驗室牽頭推出了全球首個醫療多模態基礎模型群“OpenMEDLab浦醫”，為人工智能大模型在醫療領域的快速發展、高效落地提供了堅實的基礎。

在地球科學方面，全球中期天氣預報大模型“風烏”首次實現氣象有效預報時間首破10天，同時“風烏”僅需30秒即可生成未來10天全球高精度預報結果，在效率上大幅優于傳統模型。