Instella – AMD開源的30億參數系列語言模型

Instella是什么

Instella是由AMD推出的一款開源語言模型，擁有30億個參數。該模型完全依托于AMD Instinct? MI300X GPU進行從零開始的訓練，采用自回歸Transformer架構，設有36個解碼器層和32個注意力頭，能夠處理最長達4096個標記的序列。Instella經過多階段的訓練流程，包括大規模的預訓練、監督微調和偏好優化，顯著提升了其在自然語言理解、指令執行及對話能力等方面的表現。在多個基準測試中，Instella的表現超越了現有的開源模型，與最頂尖的開源權重模型相媲美。AMD全方位開源了Instella的模型權重、訓練配置、數據集和代碼，旨在推動AI社區的合作與創新。

Instella的主要功能

• 自然語言理解：能夠理解復雜的自然語言文本，處理多種語言任務，如問答、文本生成及語義分析。
• 指令跟隨：通過監督微調（SFT）及直接偏好優化（DPO），準確理解并執行用戶指令，生成符合人類需求的回答。
• 多輪對話能力：支持多輪交互，能夠根據上下文維持連貫的對話。
• 問題解決能力：在數學、邏輯推理和知識問答等任務中表現優秀。
• 多領域適應性：憑借多樣化的訓練數據，適應學術、編程、數學及日常對話等多個領域。

Instella的技術原理

• Transformer架構：基于自回歸Transformer架構，包含36個解碼器層，每層擁有32個注意力頭，可處理最長4096個標記的序列。
• 高效訓練技術：采用FlashAttention-2、Torch Compile和bfloat16混合精度訓練，優化了內存使用及計算效率。
• 多階段訓練：使用4.065萬億標記進行大規模預訓練，建立基礎語言理解能力。在此基礎上，進一步訓練使用了額外的575.75億標記，以增強特定任務的能力。
• 監督微調（SFT）：利用高質量的指令-響應對數據進行微調，提高指令跟隨能力。
• 直接偏好優化（DPO）：通過人類偏好的數據對模型進行優化，確保輸出更符合人類的價值觀。
• 分布式訓練：采用完全分片數據并行（FSDP）技術，將模型參數、梯度和優化器狀態在節點內分片，并在節點間進行復制，實現大規模集群訓練。
• 數據集：基于多樣化的高質量數據集進行訓練，包括學術、編程、數學和對話數據，確保模型具備廣泛的知識和能力。

Instella的項目地址

• 項目官網：https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella
• GitHub倉庫：https://github.com/AMD-AIG-AIMA/Instella
• HuggingFace模型庫：https://huggingface.co/collections/amd/instella

Instella的應用場景

• 智能客服：自動回答客戶提問，提供個性化服務，提升客戶體驗。
• 內容創作：生成文案、故事等，幫助內容創作者提高工作效率。
• 教育輔導：解答學術問題，提供學習建議，支持學生學習。
• 編程輔助：生成代碼片段，提供編程建議，幫助開發者解決問題。
• 企業知識管理：整合企業內部知識，提供咨詢服務，提升協作效率。

常見問題

• Instella的開源性質是什么？Instella完全開源，提供模型權重、訓練配置和數據集，促進社區合作。
• Instella的訓練數據來源是什么？該模型使用多樣化的高質量數據集進行訓練，涵蓋學術、編程、數學和對話等多個領域。
• Instella適合哪些應用場景？Instella廣泛適用于智能客服、內容創作、教育輔導、編程輔助等各種場景。
• 如何獲取Instella的代碼和模型？可以通過項目官網、GitHub倉庫及HuggingFace模型庫獲取相關資源。