WebShaper – 阿里通義推出的AI訓(xùn)練數(shù)據(jù)合成系統(tǒng)

WebShaper 是阿里巴巴通義實(shí)驗(yàn)室研發(fā)的創(chuàng)新 AI 訓(xùn)練數(shù)據(jù)合成系統(tǒng)，其核心在于通過形式化建模和智能體擴(kuò)展機(jī)制，為 AI 智能體提供高質(zhì)量、可擴(kuò)展的訓(xùn)練數(shù)據(jù)。它首次引入基于集合論的“知識(shí)投影”（Knowledge Projection， KP）概念，通過交集、并集和遞歸操作，構(gòu)建復(fù)雜問題結(jié)構(gòu)，精準(zhǔn)控制推理路徑和任務(wù)復(fù)雜度。

WebShaper 產(chǎn)品介紹

WebShaper 是一個(gè)由阿里巴巴通義實(shí)驗(yàn)室傾力打造的 AI 訓(xùn)練數(shù)據(jù)合成系統(tǒng)。它利用前沿技術(shù)，致力于為 AI 智能體（Agent）的訓(xùn)練提供優(yōu)質(zhì)且可擴(kuò)展的數(shù)據(jù)資源。通過巧妙的形式化建模和獨(dú)特的智能體擴(kuò)展機(jī)制，WebShaper 能夠幫助 AI 智能體在復(fù)雜的推理任務(wù)中表現(xiàn)出色。

主要功能

• 形式化建模與知識(shí)投影：WebShaper 采用基于集合論的方法，對(duì)信息搜尋（IS）任務(wù)進(jìn)行形式化建模。核心在于“知識(shí)投影”（Knowledge Projection， KP）概念，它將復(fù)雜的信息搜尋任務(wù)分解為集合操作（如交集、并集、遞歸）。通過這些操作，系統(tǒng)可以構(gòu)造出復(fù)雜的問題結(jié)構(gòu)，從而精確控制推理路徑和任務(wù)難度。
• 智能體擴(kuò)展機(jī)制：WebShaper 獨(dú)具特色的在于其“自出題”能力。系統(tǒng)通過 Expander 智能體，從簡(jiǎn)單的“種子問題”出發(fā)，逐步擴(kuò)展為復(fù)雜的推理任務(wù)。Expander 智能體利用搜索、摘要、驗(yàn)證等工具，構(gòu)建邏輯清晰、難度遞增的問題，并驗(yàn)證答案的正確性，從而確保推理鏈條的清晰性和任務(wù)結(jié)構(gòu)的可控性。
• 高質(zhì)量數(shù)據(jù)生成：WebShaper 生成的訓(xùn)練數(shù)據(jù)不再依賴于猜測(cè)，而是可控、可解釋且可擴(kuò)展的高質(zhì)量任務(wù)。它突破了預(yù)檢索數(shù)據(jù)的局限，實(shí)現(xiàn)了更廣泛的任務(wù)類型、更強(qiáng)大的能力激發(fā)和更全面的知識(shí)覆蓋，從而減少了數(shù)據(jù)合成中的錯(cuò)誤和冗余信息。
• Agent 訓(xùn)練策略：WebShaper 采用了監(jiān)督微調(diào)（SFT）與 GRPO 強(qiáng)化學(xué)習(xí)相結(jié)合的訓(xùn)練策略，幫助 AI 智能體在模糊、多跳信息中逐步掌握推理與檢索能力。訓(xùn)練從高質(zhì)量的訓(xùn)練軌跡開始，通過獎(jiǎng)勵(lì)機(jī)制引導(dǎo)模型進(jìn)行多步推理，避免“走捷徑”或“猜答案”。

產(chǎn)品官網(wǎng)

由于產(chǎn)品仍在持續(xù)研發(fā)中，目前暫無的產(chǎn)品官網(wǎng)。您可以關(guān)注以下資源，獲取最新信息：

• Github 倉庫：https://github.com/Alibaba-NLP/WebAgent
• HuggingFace 模型庫：https://huggingface.co/datasets/Alibaba-NLP/WebShaper
• arXiv 技術(shù)論文：https://arxiv.org/pdf/2507.15061

應(yīng)用場(chǎng)景

• 學(xué)術(shù)研究：協(xié)助研究人員快速收集、整理相關(guān)文獻(xiàn)，進(jìn)行跨學(xué)科的知識(shí)發(fā)現(xiàn)。
• 市場(chǎng)分析：應(yīng)用于市場(chǎng)調(diào)研、競(jìng)爭(zhēng)分析和投資決策支持。幫助企業(yè)分析師自動(dòng)收集行業(yè)數(shù)據(jù)、分析市場(chǎng)趨勢(shì)、評(píng)估競(jìng)爭(zhēng)對(duì)手的策略。
• 智能學(xué)習(xí)：成為智能學(xué)習(xí)助手，輔助學(xué)生進(jìn)行深度學(xué)習(xí)和研究性學(xué)習(xí)。
• 生活助手：在出行規(guī)劃、健康查詢、生活決策等場(chǎng)景下，即開即用，為用戶提供個(gè)性化的信息支持。
• 醫(yī)療健康：幫助用戶查詢醫(yī)療健康信息，提供專業(yè)的醫(yī)療建議和健康咨詢。

常見問題

Q: WebShaper 與其他數(shù)據(jù)合成工具有什么區(qū)別？

A: WebShaper 采用基于集合論的形式化建模方法，通過智能體擴(kuò)展機(jī)制生成高質(zhì)量、可控的訓(xùn)練數(shù)據(jù)。這種方法能夠更精確地控制推理路徑和任務(wù)復(fù)雜度，從而生成更復(fù)雜、更貼近實(shí)際應(yīng)用場(chǎng)景的數(shù)據(jù)。

Q: WebShaper 的未來發(fā)展方向是什么？

A: WebShaper 將繼續(xù)探索更先進(jìn)的智能體擴(kuò)展機(jī)制和訓(xùn)練策略，以支持更復(fù)雜的 AI 智能體訓(xùn)練。同時(shí)，它將積極拓展應(yīng)用場(chǎng)景，為各個(gè)領(lǐng)域提供更強(qiáng)大的數(shù)據(jù)支持。