gpt-oss

gpt-oss – OpenAI開源的推理模型系列

GPT-OSS 是 OpenAI 推出的開源推理模型系列，包含 gpt-oss-120b 和 gpt-oss-20b 兩個(gè)版本。這兩個(gè)模型均基于 MoE 架構(gòu)，支持 128k 上下文長度，性能接近閉源模型，在工具調(diào)用、少樣本函數(shù)調(diào)用、鏈?zhǔn)剿伎纪评砑敖】祮柎鸬确矫姹憩F(xiàn)出色。gpt-oss-120b 擁有 1170 億參數(shù)，激活參數(shù)約 51 億，能在單張 80GB GPU 上運(yùn)行；gpt-oss-20b 擁有 210 億參數(shù)，激活參數(shù)約 36 億，能在 16GB 內(nèi)存的消費(fèi)級(jí)設(shè)備上運(yùn)行。模型基于 Apache 2.0 許可證開源，支持免費(fèi)商用，為開發(fā)者提供強(qiáng)大的本地推理能力。

認(rèn)識(shí) GPT-OSS

GPT-OSS，全稱為 OpenAI 推出的開源推理模型系列，為開發(fā)者提供了強(qiáng)大的本地推理解決方案。它包含兩個(gè)版本：gpt-oss-120b 和 gpt-oss-20b。這兩個(gè)模型的核心在于其 MoE（混合專家）架構(gòu)設(shè)計(jì)，賦予它們出色的性能表現(xiàn)。GPT-OSS 能夠勝任多種任務(wù)，包括工具調(diào)用、少樣本函數(shù)調(diào)用、鏈?zhǔn)剿伎纪评硪约敖】祮柎鸬龋阅芸膳c閉源模型媲美。值得一提的是，GPT-OSS 基于 Apache 2.0 許可證開源，允許免費(fèi)商用，為開發(fā)者提供了極大的靈活性。

GPT-OSS 的核心功能

• 工具賦能：GPT-OSS 能夠調(diào)用外部工具，如網(wǎng)頁搜索、Python 代碼解釋器，從而解決復(fù)雜問題，增強(qiáng)問題解決能力。
• 鏈?zhǔn)剿季S：它具備鏈?zhǔn)剿伎寄芰Γ軌驅(qū)?fù)雜問題分解為多個(gè)步驟，逐步解決，尤其適合多步驟推理任務(wù)。
• 靈活部署：gpt-oss-20b 能夠在 16GB 內(nèi)存的設(shè)備上運(yùn)行，滿足消費(fèi)級(jí)設(shè)備的需求；gpt-oss-120b 則可在 80GB GPU 上運(yùn)行，滿足高性能需求。
• 快速響應(yīng)：推理速度可達(dá) 40-50 tokens/s，確保在需要快速響應(yīng)的場(chǎng)景中表現(xiàn)出色。
• 開放：提供完整的模型權(quán)重和代碼，支持本地微調(diào)和定制，滿足特定任務(wù)需求。
• 推理強(qiáng)度可調(diào)：支持低、中、高三種推理強(qiáng)度，用戶可以根據(jù)實(shí)際需求進(jìn)行調(diào)整，實(shí)現(xiàn)延遲與性能之間的平衡。

GPT-OSS 的技術(shù)揭秘

• 模型架構(gòu)：基于 Transformer 架構(gòu)，GPT-OSS 采用了混合專家（MoE）技術(shù)，減少了處理輸入所需的活躍參數(shù)數(shù)量，從而提升了推理效率。它還采用了交替的密集和局部帶狀稀疏注意力模式，類似于 GPT-3，進(jìn)一步優(yōu)化了內(nèi)存和計(jì)算效率。此外，分組多查詢注意力機(jī)制（分組大小為 8）和 RoPE 位置編碼（支持最長 128k 的上下文長度）也被應(yīng)用于其中，以提升推理效率和上下文處理能力。
• 訓(xùn)練歷程：GPT-OSS 經(jīng)過了精心設(shè)計(jì)和訓(xùn)練。預(yù)訓(xùn)練階段，它使用了高質(zhì)量的純文本數(shù)據(jù)集，重點(diǎn)關(guān)注 STEM、編程和通用知識(shí)領(lǐng)域。后訓(xùn)練階段則采用了與 o4-mini 類似的流程，包括監(jiān)督式微調(diào)和高計(jì)算量的強(qiáng)化學(xué)習(xí)階段。訓(xùn)練目標(biāo)是讓模型符合 OpenAI 模型規(guī)范，具備鏈?zhǔn)酵评砗凸ぞ哒{(diào)用能力。
• 量化與優(yōu)化：GPT-OSS 采用了 MXFP4 格式進(jìn)行量化，模型在訓(xùn)練階段就適應(yīng)了低精度環(huán)境，確保在減少模型體積的同時(shí)保持高性能。gpt-oss-20b 量化后模型大小約為 12.8GB，可在 16GB 內(nèi)存設(shè)備上運(yùn)行。gpt-oss-120b 量化后可在 80GB 內(nèi)存中運(yùn)行。此外，GPT-OSS 還與 NVIDIA、AMD 等硬件廠商合作，確保模型在各類系統(tǒng)上實(shí)現(xiàn)性能優(yōu)化。
• 安全機(jī)制：GPT-OSS 在安全方面也下足了功夫。在預(yù)訓(xùn)練階段，它會(huì)過濾與化學(xué)、生物、放射性和核（CBRN）相關(guān)的有害數(shù)據(jù)。通過審慎對(duì)齊和指令優(yōu)先級(jí)評(píng)估，訓(xùn)練模型拒絕不安全提示并抵御注入攻擊。此外，GPT-OSS 還會(huì)在特定領(lǐng)域（如生物學(xué)和網(wǎng)絡(luò)安全）進(jìn)行對(duì)抗性微調(diào)，評(píng)估并優(yōu)化模型的安全性。

GPT-OSS 的性能表現(xiàn)

• 基準(zhǔn)測(cè)試表現(xiàn)：
  • 編程競賽：在 Codeforces 競賽編程測(cè)試中，gpt-oss-120b 取得了 2622 分，gpt-oss-20b 取得了 2516 分，表現(xiàn)優(yōu)于部分開源模型，略遜于閉源的 o3 和 o4-mini。
  • 通用問題解決：在 MMLU 和 HLE 測(cè)試中，gpt-oss-120b 表現(xiàn)優(yōu)于 OpenAI 的 o3-mini，并接近 o4-mini 的水平。
  • 工具調(diào)用能力：在 TauBench 智能體評(píng)估套件中，gpt-oss-120b 和 gpt-oss-20b 的表現(xiàn)均優(yōu)于 OpenAI 的 o3-mini，達(dá)到或超過了 o4-mini 的水平。
  • 健康問答：在 HealthBench 測(cè)試中，gpt-oss-120b 的表現(xiàn)超越了 o4-mini，而 gpt-oss-20b 則達(dá)到了與 o3-mini 相當(dāng)?shù)乃健?/li>

產(chǎn)品信息

• 產(chǎn)品官網(wǎng)：https://openai.com/zh-Hans-CN/index/introducing-gpt-oss/
• GitHub 倉庫：https://github.com/openai/gpt-oss
• HuggingFace 模型庫：https://huggingface.co/collections/openai/gpt-oss-68911959590a1634ba11c7a4
• 在線體驗(yàn) Demo：https://gpt-oss.com/

GPT-OSS 的應(yīng)用場(chǎng)景

• 本地推理與數(shù)據(jù)安全：在涉及隱私的領(lǐng)域（如醫(yī)療、金融），GPT-OSS 可以在本地設(shè)備上運(yùn)行，確保數(shù)據(jù)安全，同時(shí)提供強(qiáng)大的推理能力。
• 代碼輔助與開發(fā)提效：開發(fā)者可以利用 GPT-OSS 調(diào)用工具生成和驗(yàn)證代碼片段，顯著提升編程效率，減少調(diào)試時(shí)間。
• 智能客服與客戶服務(wù)：企業(yè)可以部署 GPT-OSS 作為智能客服，快速響應(yīng)客戶咨詢，提供準(zhǔn)確答案，降低人力成本。
• 教育輔助與學(xué)習(xí)支持：學(xué)生可以借助 GPT-OSS 輔助學(xué)習(xí)，解答問題、提供寫作建議，提升學(xué)習(xí)效率和理解能力。
• 創(chuàng)意內(nèi)容生成：作家、編劇、游戲開發(fā)者等可以利用 GPT-OSS 生成創(chuàng)意內(nèi)容，激發(fā)靈感，提升創(chuàng)作效率。

常見問題

Q: GPT-OSS 與其他開源模型相比有什么優(yōu)勢(shì)？

A: GPT-OSS 提供了強(qiáng)大的性能，尤其在工具調(diào)用、鏈?zhǔn)剿伎纪评淼热蝿?wù)上表現(xiàn)出色，同時(shí)支持本地部署，確保數(shù)據(jù)安全與隱私。它的低資源需求也使其能夠在各種設(shè)備上運(yùn)行。

Q: 如何開始使用 GPT-OSS？

A: 您可以訪問 GitHub 倉庫和 HuggingFace 模型庫，獲取模型權(quán)重和代碼，進(jìn)行本地部署和微調(diào)。您也可以通過在線體驗(yàn) Demo 快速上手。

Q: GPT-OSS 的模型大小和硬件要求是什么？

A: GPT-OSS 包含兩個(gè)版本：gpt-oss-20b（210 億參數(shù)，可在 16GB 內(nèi)存設(shè)備上運(yùn)行）和 gpt-oss-120b（1170 億參數(shù)，需要在 80GB GPU 上運(yùn)行）。