Reka Flash 3 – Reka AI 推出的開源推理模型

Reka Flash 3 是 Reka AI 推出的開源推理模型，具有 21 億個參數，能夠處理文本、圖像、視頻和音頻等多種輸入形式。該模型支持長達 32,000 個令牌的上下文長度，適用于多種場景，如日常對話、代碼協助和指令執行等。

Reka Flash 3是什么

Reka Flash 3 是 Reka AI 發布的一款開源推理模型，擁有 21 億個參數。它支持多模態輸入，涵蓋文本、圖片、視頻和音頻，能夠處理最大 32,000 個令牌的上下文，適合用于一般對話、編程輔助、指令執行等多種應用。該模型的完整精度大小為 39GB（fp16），經過 4 位量化后可壓縮至 11GB，便于在各類設備上進行部署。

Reka Flash 3的主要功能

• 多模態輸入支持：Reka Flash 3 能夠處理多種輸入格式，包括文本、圖片、視頻和音頻。
• 高效推理能力：該模型支持最多 32,000 個令牌的上下文長度，能夠應對長篇文檔和復雜任務，例如詳細論文、代碼片段或多步驟問題。
• 多語言支持：Reka Flash 3 在多種語言處理上表現優異，尤其以英語為主，在 WMT’23 的 COMET 得分達 83.2，滿足不同語言用戶的需求。

Reka Flash 3的技術原理

• 模塊化的編碼器-解碼器架構：Reka Flash 3 采用模塊化的編碼器-解碼器架構，編碼器負責處理多類型輸入數據，將其轉換為高維向量表示，而解碼器則基于這些輸出生成相應的文本。
• 強化學習訓練：訓練過程中結合了公開數據集和合成數據集，應用 REINFORCE Leave One-Out（RLOO）方法進行強化學習，以平衡模型的能力與效率，從而提高對高質量內容的理解與生成能力。
• 預算機制：用戶可以通過特定的 <reasoning> 標簽，限制模型的推理步驟，以確保在有限的計算資源下保持高效和一致的表現。

Reka Flash 3的項目地址

• HuggingFace模型庫：https://huggingface.co/RekaAI/reka-flash-3

Reka Flash 3的應用場景

• 一般對話：Reka Flash 3 能夠進行自然流暢的對話，提供陪伴和信息查詢等服務。
• 編碼輔助：該模型可幫助開發者編寫代碼、解決調試問題，并提供優化建議。
• 指令跟隨：Reka Flash 3 能夠理解和執行復雜指令，完成生成報告、分析數據等任務。
• 網絡搜索輔助：該模型可以調用網絡搜索功能，獲取更多信息以幫助回答用戶問題。