OpenAI Day2的直播含金量被低估了。

原標題：OpenAI Day2：支持微調(diào)o1, 核心技術(shù)竟更早來自字節(jié)跳動！「強化微調(diào)」技術(shù)分析
文章來源：夕小瑤科技說
內(nèi)容字數(shù)：4628字

OpenAI推出強化微調(diào)技術(shù)，提升模型性能

在最近的直播中，OpenAI宣布了一項名為“強化微調(diào)”（Reinforcement Fine-Tuning,ReFT）的新技術(shù)，這一技術(shù)將為科研和專業(yè)領(lǐng)域的研究者提供快速、低成本的模型微調(diào)方案。盡管直播中并未出現(xiàn)奧特曼，但這一技術(shù)的推出被認為是2024年的重大驚喜之一。

1. 強化微調(diào)的定義與優(yōu)勢

強化微調(diào)是一種全新的模型定制技術(shù)，與傳統(tǒng)的監(jiān)督微調(diào)（Supervised Fine-Tuning,SFT）不同，ReFT允許開發(fā)者通過少量高質(zhì)量任務數(shù)據(jù)集（僅需幾十個示例）對模型進行針對性優(yōu)化。此技術(shù)強調(diào)推理能力的提升，使AI在特定領(lǐng)域的復雜任務中表現(xiàn)得更為精準。

2. 實驗與結(jié)果

在直播中，OpenAI展示了強化微調(diào)在醫(yī)療領(lǐng)域的應用。通過對o1 mini模型進行強化微調(diào)，研究人員使用約1100個病例報告進行訓練，結(jié)果顯示該模型在預測罕見遺傳疾病基因的能力上，甚至超過了最新發(fā)布的o1模型。

3. ReFT的技術(shù)路線

ReFT結(jié)合了監(jiān)督微調(diào)和強化學習（Reinforcement Learning,RL）的方法，分為預熱階段和強化學習階段。在預熱階段，模型通過SFT進行基礎訓練，而在強化學習階段，使用PPO算法進一步優(yōu)化模型性能。這一過程使得模型能夠通過多條推理路徑學習，顯著提高解答的準確性。

4. 未來展望

OpenAI的這項技術(shù)為領(lǐng)域垂直模型和小型化模型的開發(fā)開辟了新空間。未來，各個領(lǐng)域的o1模型將會快速涌現(xiàn)，開發(fā)者和企業(yè)可以更輕松地結(jié)合領(lǐng)域數(shù)據(jù)和業(yè)務邏輯進行訓練，提升AI模型在特定領(lǐng)域的推理能力。這將加速AI在各個應用場景的落地，并增強企業(yè)的競爭優(yōu)勢。

5. 申請與測試

目前，OpenAI已開啟alpha測試，公開使用計劃預計在2025年春季推出。感興趣的開發(fā)者可以通過OpenAI官網(wǎng)申請參與測試，進一步體驗這一前沿技術(shù)。

總之，OpenAI的強化微調(diào)技術(shù)為AI模型的定制與優(yōu)化提供了新思路，有望在科研和行業(yè)應用中發(fā)揮重要作用。

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：專業(yè)、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務合作：zym5189