顛覆LLM格局！AI2新模型OLMo2，訓練過程全公開，數據架構雙升級

原標題：顛覆LLM格局！AI2新模型OLMo2，訓練過程全公開，數據架構雙升級
文章來源：新智元
內容字數：3058字

AI2發布完全開源模型OLMo 2：性能優異，訓練過程全公開

非營利研究機構AI2近日發布了完全開源的大型語言模型OLMo 2，其7B和13B兩個版本在同等規模模型中展現出最優性能，并突破性地公開了訓練數據、代碼和方法，為開源LLM領域樹立了新的標桿。

1. OLMo 2的卓越性能

OLMo 2在多個下游任務中超越了Llama 2和Qwen 2.5等開源模型，尤其是在10個基準測試中，OLMo-2-13B全面超越Llama-2-13B，OLMo-2-8B也優于Llama-3.1-8B。這表明OLMo 2擁有強大的泛化能力和適應能力，且在性能和計算效率之間取得了極佳的平衡。

2. 訓練過程全公開：促進研究和應用

不同于僅開源模型權重的其他項目，AI2秉持完全開源的理念，公開了OLMo 2的全部訓練資源，包括訓練數據、代碼、訓練過程以及超參數選擇等。這為后續的LLM研究和應用提供了寶貴的資源，促進了研究的透明度和可重復性。

3. 三階段訓練流程：高效且穩定

OLMo 2的訓練分為預訓練、中期訓練和指令調優三個階段。預訓練階段使用高質量的網頁數據、代碼數據和學術論文數據，并通過多種技術改進訓練穩定性。中期訓練階段則使用高質量的領域特定數據（例如數學數據）和合成數據，增強模型能力。最后的指令調優階段，采用Tülu 3的指令調優方法，并結合監督微調、直接偏好優化和強化學習與可驗證獎勵等技術，顯著提升了模型的指令跟隨能力和生成質量。

4. “低碳”LLM：高效的訓練策略

AI2團隊通過多種方法降低了訓練成本和能耗，例如減少主機-設備同步、優化數據預處理和緩存等。同時，他們利用水冷系統降低GPU功耗。最終，OLMo 2 7B模型的訓練能耗僅為Llama 3.1的約十分之一，這體現了團隊對環境責任的重視。

5. 開源的意義：構建開放的生態系統

OLMo 2的完全開源，為開源LLM領域建立了一個新的生態系統，促進了對語言模型行為和使用的理解和研究。通過共享所有組件，更多研究人員和開發者可以參與到模型的改進和應用中，推動該領域的持續發展。

總之，OLMo 2的發布標志著開源LLM領域取得了顯著進展，其卓越的性能、完全開源的策略以及對環境問題的關注，使其成為開源社區的一項重要貢獻。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。