用簡(jiǎn)潔的代碼高效復(fù)現(xiàn) R1-zero 的自發(fā)反思能力。

原標(biāo)題：200多行代碼，超低成本復(fù)現(xiàn)DeepSeek R1「Aha Moment」！復(fù)旦大學(xué)開(kāi)源Simple-GRPO
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：3901字

復(fù)旦大學(xué)團(tuán)隊(duì)高效復(fù)現(xiàn)R1-zero自發(fā)反思能力：Simple-GRPO項(xiàng)目詳解

本文介紹了復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室肖仰華教授、梁家卿青年副研究員科研團(tuán)隊(duì)最新研究成果：Simple-GRPO項(xiàng)目。該項(xiàng)目以簡(jiǎn)潔的代碼高效復(fù)現(xiàn)了R1-zero的“頓悟時(shí)刻”（Aha Moment）——模型自發(fā)展現(xiàn)的自我反思和策略調(diào)整能力，并開(kāi)源于Github (https://github.com/lsdefine/simple_GRPO)。

1. 背景：R1-zero復(fù)現(xiàn)的挑戰(zhàn)

DeepSeek論文中提出的R1-zero模型及其“頓悟時(shí)刻”引發(fā)了廣泛關(guān)注，許多研究者嘗試基于GRPO算法復(fù)現(xiàn)該能力。然而，現(xiàn)有復(fù)現(xiàn)項(xiàng)目存在代碼復(fù)雜、依賴性高、資源消耗大、可讀性和可維護(hù)性差等問(wèn)題，阻礙了更廣泛的應(yīng)用和研究。

2. Simple-GRPO項(xiàng)目?jī)?yōu)勢(shì)

Simple-GRPO項(xiàng)目有效解決了上述問(wèn)題，其主要優(yōu)勢(shì)在于：

1. 代碼簡(jiǎn)潔：整個(gè)GRPO算法實(shí)現(xiàn)僅需200多行代碼，依賴庫(kù)僅為deepspeed和torch，無(wú)需ray等復(fù)雜框架。
2. 資源消耗低：通過(guò)模型解耦與分離，降低了算力需求。項(xiàng)目可在單張A800 (80G)和單張3090 (24G)顯卡上完成7B模型的訓(xùn)練，顯著降低了訓(xùn)練成本（作者經(jīng)驗(yàn)：?jiǎn)未螌?shí)驗(yàn)成本約合人民幣7.3元）。
3. 高效訓(xùn)練：在該配置下，模型訓(xùn)練1小時(shí)即可出現(xiàn)“頓悟時(shí)刻”。Qwen2.5-3B訓(xùn)練60步需12分34秒，Qwen2.5-7B訓(xùn)練60步需16分40秒。

3. 技術(shù)實(shí)現(xiàn)細(xì)節(jié)

Simple-GRPO項(xiàng)目的主要技術(shù)細(xì)節(jié)包括：

1. 參考模型分離：將參考模型解耦，允許其在不同的GPU上運(yùn)行，避免了顯存浪費(fèi)，使得在A800 (80G)上訓(xùn)練7B模型成為可能。
2. 核心損失計(jì)算：基于Hugging Face的trl庫(kù)實(shí)現(xiàn)損失計(jì)算。
3. 訓(xùn)練環(huán)境：在一張A800 (80G)上進(jìn)行Zero-Stage 2優(yōu)化，另一張A800 (80G)用于參考模型推理。也可使用一張A800和一張3090。

4. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，使用Qwen2.5-3B和Qwen2.5-7B作為基礎(chǔ)模型，在GSM8K和Math混合數(shù)據(jù)集上訓(xùn)練，模型的準(zhǔn)確率和格式遵循能力均達(dá)到預(yù)期效果。Qwen2.5-3B的準(zhǔn)確率在5步優(yōu)化后穩(wěn)定在60%以上，Qwen2.5-7B的準(zhǔn)確率始終保持在90%以上。

5. 未來(lái)改進(jìn)方向

該項(xiàng)目未來(lái)將著重改進(jìn)以下方面：

1. 解決組內(nèi)答案同質(zhì)性問(wèn)題：改進(jìn)獎(jiǎng)勵(lì)函數(shù)，避免組內(nèi)答案過(guò)于一致導(dǎo)致模型難以收斂。
2. 解決長(zhǎng)思維鏈顯存占用問(wèn)題：通過(guò)拆分組別、減小批次大小或分階段處理長(zhǎng)序列等方法，降低GPU內(nèi)存開(kāi)銷，提升訓(xùn)練效率。

總之，Simple-GRPO項(xiàng)目提供了一個(gè)簡(jiǎn)潔高效的R1-zero復(fù)現(xiàn)方案，為研究者提供了更易于訪問(wèn)和使用的工具，推動(dòng)了對(duì)大模型“頓悟時(shí)刻”機(jī)制的理解和研究。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下賬號(hào)，專注于生成式人工智能，主要分享技術(shù)文章、論文成果與產(chǎn)品信息。