手把手教你從頭跑通 GRPO

原標題：DeepSeek關鍵RL算法GRPO，有人從頭跑通了，貢獻完整代碼
文章來源：機器之心
內容字數：8851字

從零開始實現GRPO：基于Qwen2.5-1.5B-Instruct模型的分布式強化學習教程

本文總結了Andriy Burkov發布的GRPO（Group Relative Policy Optimization）算法從零實現教程要點。該教程展示了如何使用GRPO方法構建分布式強化學習流程，對語言模型進行微調，使其更好地解決數學、邏輯和編程問題。

1. 教程概述及作者介紹

該教程基于Qwen2.5-1.5B-Instruct模型，利用GRPO算法進行分布式強化學習訓練。GRPO算法通過組內樣本的相對比較計算策略梯度，降低訓練不穩定性并提高學習效率。作者Andriy Burkov是AI領域知名科普作家，著有《100頁語言模型書》和《100頁機器學習書》。

2. 技術棧及數據集

教程使用PyTorch進行張量運算和分布式訓練，Hugging Face Transformers加載預訓練模型和tokenizer，FlashAttention2優化注意力機制，Weights & Biases (wandb)進行實驗跟蹤。訓練數據集為GSM8K。

3. 數據處理與模型輸出格式

教程定義了數據格式，并設計了兩個函數：`extract_answer_from_model_output`從模型輸出中提取答案，`extract_answer_from_dataset`從GSM8K數據集提取標準答案。模型輸出格式采用“和“標簽。

4. 評估函數與獎勵函數

評估函數`evaluate_model`計算模型準確率，包含精確字符串匹配和數值等價檢查。獎勵函數`correctness_reward`根據答案正確性分配獎勵，`format_reward`鼓勵模型遵循指定的輸出格式。

5. GRPO算法實現及DataParallel

教程從頭實現了GRPO算法，利用PyTorch的DataParallel API實現分布式訓練，將模型復制到多個GPU上進行并行計算。

6. 訓練設置與執行

教程加載預訓練模型，準備評估數據，使用`train_with_grpo`函數進行強化學習微調。訓練過程中使用了多種優化策略，例如使用torch.bfloat16減少內存使用，以及梯度檢查點和禁用KV緩存來提高效率。超參數包括迭代次數、步數、批量大小、生成數量、學習率等。

7. 訓練結果與模型測試

實驗結果顯示，經過一輪GRPO迭代后，模型準確率從23.33%提升到90%。教程最后展示了如何加載和測試微調后的模型，并指出了模型的一些行為特點，例如未學習生成EOS token。

8. 總結

該教程提供了一個完整的GRPO算法實現案例，詳細介紹了數據處理、模型訓練和評估的全過程，并利用分布式訓練提高效率。對于希望深入了解GRPO算法并進行實踐的讀者來說，這是一個非常有價值的參考。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺