突破數據思維密度，僅4T數據讓8B模型逼近GPT-4o-mini

原標題：突破數據思維密度，僅4T數據讓8B模型逼近GPT-4o-mini
文章來源：夕小瑤科技說
內容字數：4698字

上海人工智能實驗室發布書生·浦語3.0：數據精煉框架提升大模型性能

本文總結了上海人工智能實驗室發布的書生·浦語3.0 (InternLM3)大模型的關鍵特性及突破。該模型通過創新性的數據精煉框架，在有限的數據量下實現了顯著的性能提升，并首次在通用模型中融合了常規對話和深度思考能力，為通用人工智能的“通專融合”技術路徑提供了新的范例。

1. 數據精煉框架：提升數據效率，突破算力瓶頸

面對大模型訓練中日益嚴峻的數據瓶頸問題，上海AI實驗室提出“思維密度”（IQPT）的概念，強調數據質量而非單純規模的重要性。 書生·浦語3.0通過構建大規模數據精煉框架，僅使用4T訓練數據就達到了同量級開源模型（約18T數據）的性能，訓練成本節省75%以上。該框架的核心在于：

1. 數據處理的智能化：運用智能體自我演進技術，對千萬個領域的數據進行大規模自動化質檢和定制化處理。
2. 高價值數據的合成：基于“通專融合”方式，利用通用模型快速迭代合成算法，再用精選數據訓練專用模型，最終合成大量高質量數據。

通過上述框架，書生·浦語3.0的數據思維密度比Llama3.1高出4倍以上，展現了顯著的“投入產出比”優勢。

2. 深度思考與常規對話融合：兼具“能言”與“巧思”

書生·浦語3.0首次在通用模型中實現了深度思考和常規對話能力的融合，用戶可通過系統提示詞一鍵切換模式。這突破了以往需要分別構建專用模型的限制，使得單一模型能夠應對更多真實場景。該融合能力的實現，得益于研究團隊對不同類型數據的融合訓練方案的探索，以及基于世界知識樹的指令標注與合成方案。

3. 開源賦能：積極擁抱開源社區和國產生態

上海AI實驗室積極推動書生·浦語3.0的開源，提供開源基座模型、全棧開源工具鏈等，方便產業界和開發者使用。同時，實驗室還與昇騰、寒武紀、沐曦等算力硬件廠商合作，實現了書生·浦語3.0在新興算力硬件上的高效運行，促進AI生態繁榮。

4. 性能表現：超越同量級開源模型，逼近GPT-4

基于司南OpenCompass開源評測框架，書生·浦語3.0在CMMLU、GPQA等多個權威評測集上取得了領先成績，綜合性能接近GPT-4-mini。它能夠出色地完成推理謎題、猜數字游戲等任務，并展現了優秀的創作能力和深度信息挖掘能力，例如在二手房網站上模擬用戶行為查找房源。

總而言之，書生·浦語3.0 通過數據精煉框架和“通專融合”技術路徑，在提升模型性能的同時，降低了訓練成本，并實現了深度思考與常規對話能力的融合，為大模型發展提供了新的方向。

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：低負擔解碼AI世界，硬核也可愛！聚集35萬AI發燒友、開發者和從業者，廣泛覆蓋互聯網大廠中高管、AI公司創始人和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189